人工智能编程助手存在一个问题:他们在代码中插入更多错误 - 未来主义

2024-10-02 18:12:20 英文原文

人工智能工具实际上可能会为程序员创造更多的工作,而不是更少。

我们对这个错误感到遗憾

生成式人工智能的支持者声称,该技术可以提高人类工人的工作效率,尤其是在编写计算机代码时。

但真的是这样吗?

编码管理软件公司 Uplevel 最近发布的一份报告(最先由 IT 杂志 CIO 发现)表明,使用 GitHub 流行的 AI 编程助手 Copilot 的工程师并没有体验到任何显着的效率提升。

研究表明,使用 Copilot 会导致无意中输入代码的错误增加 41%。

在这项研究中,Uplevel 跟踪了 800 名开发人员在使用 Copilot 之前三个月的表现。在他们获得 Copilot 后,Uplevel 又对他们进行了三个月的追踪。

为了衡量他们的性能,Uplevel 检查了开发人员将代码合并到存储库(也称为拉取请求)所需的时间,以及他们发出的请求数量。

Uplevel 发现“Copilot 既没有帮助也没有伤害样本中的开发人员,也没有提高编码速度。”

“我们团队的假设是,我们认为公关周期时间会缩短,”Uplevel 产品经理兼数据分析师 Matt Hoffman 告诉 CIO。“我们认为他们能够编写更多代码,而且我们实际上认为缺陷率可能会下降,因为您正在使用这些新一代人工智能工具来帮助您在代码发布之前对其进行审查。”

旋转周期

当您意识到 GitHub Copilot 以大型语言模型 (LLM) 为中心时,所有这些信息就不足为奇了,而大型语言模型通常容易产生幻觉错误信息并吐出不正确的数据。

德克萨斯大学圣安东尼奥分校研究人员最近领导的另一项研究发现,大型语言模型可以生成大量“幻觉包”,或者“推荐或包含对不存在的文件或代码的引用”的代码.

技术领导者开始担心,使用人工智能生成的代码实际上可能会带来更多工作。

软件开发公司 Gehtsoft 首席执行官 Ivan Gekht 告诉 CIO:“理解和调试人工智能生成的代码变得越来越具有挑战性,并且故障排除变得如此资源密集,以至于从头开始重写代码比修复它更容易。”.

有关人工智能的更多信息:警察称,产生幻觉的人工智能已准备好撰写可能将人们送进监狱的警方报告

分享这篇文章

关于《人工智能编程助手存在一个问题:他们在代码中插入更多错误 - 未来主义》
暂无评论

摘要

人工智能工具实际上可能会为程序员创造更多而不是更少的工作。在这项研究中,Uplevel 跟踪了 800 名开发人员在使用 Copilot 之前三个月的表现。德克萨斯大学圣安东尼奥分校的研究人员最近领导的另一项研究发现,大型语言模型可以生成大量“幻觉包”,或者“推荐或包含对不存在的文件或代码的引用”的代码。软件开发公司 Gehtsoft 首席执行官 Ivan Gekht 告诉 CIO:“理解和调试人工智能生成的代码变得越来越困难,故障排除变得如此资源密集,以至于从头开始重写代码比修复它更容易。”有关人工智能的更多信息:警察称,产生幻觉的人工智能已准备好撰写可能将人们送进监狱的警方报告分享这篇文章