OC

Knowledge OS
鹦鹉螺口语
任何人都可以使用人工智能编码。但这可能会带来隐性成本。
2026-04-07 10:00:41 · 英文原文

任何人都可以使用人工智能编码。但这可能会带来隐性成本。

作者:By Jared Perlo

任何人都可以使用人工智能编码。但这可能会带来隐性成本。”

在过去的一年里,人工智能系统已经变得如此先进,以至于没有丰富编码或计算机科学经验的用户现在只需向聊天机器人发出指令就可以启动网站或应用程序。

然而,随着强大到足以将指令转化为大部头代码的人工智能系统的兴起,专家和软件工程师对于这项技术是否会导致臃肿、错误百出的软件爆炸式增长,还是通过比人类更快、更有效地审查代码来增强安全工作感到困惑。

“人工智能系统不会像我们那样打错字,”CodeRabbit 的人工智能主管 David Loker 说,CodeRabbit 是一家帮助软件工程师和组织审查和提高代码质量的公司。– 但他们在整体上犯了很多错误,其中主要是代码的可读性和可维护性。 –

长期以来,编码一直是一门艺术和一门科学。自从那几天以来通过打孔卡对计算机系统进行编码20世纪中叶,对于计算机科学家来说,传送计算指令一直是优雅和高效的挑战。

但在当今领先的人工智能公司内部,大多数编码都是由人工智能系统本身执行的,人类软件工程师更多地充当教练或高级架构师,而不是普通的机械师。Anthropic 的 Claude Code 负责人 Boris Cherny,在 X 上说 AI 已经编写了 100% 的代码至少从十二月开始。“我什至不会手工进行小的编辑,”切尔尼说。

人工智能辅助编码(也称为振动编码)的兴起,让以前从未编码过的人能够释放他们的创造力,并使经验丰富的软件工程师能够大幅扩展他们编写的代码量。

“这一切的最初推动力是开发人员的生产力,”洛克告诉 NBC 新闻。– 这是为了提高特征生成、快速构建和交付事物的能力方面的吞吐量。 –

尽管人工智能编码系统的能力已显着增强即使自11月以来,他们通常无法像经验丰富的人类开发人员那样完全理解整个代码存储库。例如,洛克说,“人工智能编码系统可能会在多个不同位置复制功能,因为他们没有发现该功能已经存在,因此他们一遍又一遍地重新创建它。”

– 现在你最终遇到了一个庞大的问题。如果您在一个位置更新了某个功能,而在另一位置没有更新它,则不同区域的业务逻辑会不一致。您会想知道发生了什么。”

配备AI编码系统增加正在创建的代码量专家们想知道代码是否会成为人工智能攻击的下一个受害者。的概念AI slop最初普及于2024年随着人工智能系统变得足够强大和普遍,开始大量生产低质量、不需要的人工智能输出——AI 生成的照片到无用的人工智能搜索结果一方面,人工智能编码系统正在生成大量可用但不完善的代码。

另一方面,这些系统在审查自己的代码和发现安全漏洞方面正在迅速变得更好。

例如,1月下旬,AI代码崛起被迫倾斜领先开发商 Daniel Stenberg停止在流行软件系统中查找错误的流行努力。斯坦伯格在他的博客上写道——无休止的垃圾提交需要严重的精神负担才能管理,有时还需要很长时间才能揭穿。时间和精力完全被浪费了,同时也阻碍了我们的生存意愿。”

然而周四,斯坦伯格说洪水——已经从人工智能斜坡海啸转变为……简单的安全报告海啸。较少的溢出但有很多报告。其中许多都非常好。 –

网络安全咨询公司 Corridor 的首席执行官兼联合创始人杰克·凯布尔 (Jack Cable) 表示,公司很快意识到,数量的增加并不会自动提高质量,事实上,情况往往恰恰相反。

“即使[大型语言模型]更擅长逐行编写代码,但如果它编写的代码是人类编写的代码的 20 倍,那么需要审查的代码就会明显增多,”Cable 说。“生成大量代码不再是一个挑战,但公司如果做得好的话,仍然需要从功能角度、质量角度和安全角度审查代码。”

他补充说,人工智能编码代理正在产生“复杂性的爆炸式增长”。“如果我们对软件了解一件事,那就是随着复杂性的增加,攻击面和漏洞也随之增加。”

一月份,开发者兼企业家 Matt Schlicht 表示,他使用人工智能编码系统创建了一个名为 Moltbook 的人工智能系统社交网络,现在归 Meta 所有。然而,安全研究人员很快就发现了 Moltbook 软件中的严重安全漏洞,这些漏洞暴露了人类用户的凭据,他们将其归因于其人工智能编码的根源。

其中一位有道德的黑客和研究人员杰米森·奥莱利 (Jamieson OâReilly) 告诉 NBC 新闻,人工智能编码代理的兴起可能会造成安全漏洞,因为编码新手在没有相应安全专业知识的情况下,会在公开场合暴露大量风险。

“人们通常认为人工智能编码代理会按照最佳安全标准构建事物,”O·赖利说。——事实并非如此。人工智能正在消除数十年来为保护用户而建立的安全孤岛,并且随着这些人工智能系统的发展,它正在被便利性所取代。”

伊利诺伊大学厄巴纳-香槟分校计算机科学教授、人工智能编码代理创建的安全漏洞专家丹尼尔·康(Daniel Kang)也认为,人工智能编码系统可能会给新用户带来错误的安全感。

“即使你假设任何给定代码块中的安全漏洞发生率是恒定的,漏洞的数量也会急剧增加,因为那些对计算机安全一无所知的人,甚至是不将安全视为首要任务的经验丰富的程序员,都会生成更多的代码,”康说。

为了试图量化这种日益增长的现象,佐治亚理工学院的研究人员发起了一项研究氛围安全雷达。自 8 月以来,该团队已识别出 70 多个关键软件漏洞,这些漏洞很可能是由 AI 编码造成的,并且在过去两个月中显着增加。一家名为 Arcade 的人工智能初创公司最近推出开发者工具监视他们代码的草率。

码兔也12月发布报告CodeRabbit 的 Loker 发现人工智能生成的代码比人类编写的代码多出 70% 的错误,而且人工智能生成的错误比人类生成的错误更严重,但他警告说,考虑到当今人工智能系统的发展速度,这些结果可能有点过时了。

虽然许多软件是专有的、“封闭源代码”或隐藏在公众视线之外,但许多其他项目,如 Mozilla 的 Firefox 浏览器或 Linux 操作系统,都是开源的,并依赖社区成员提交建议来改进软件。

通过降低向开源软件包提交建议的门槛,人工智能辅助编码在过去的几个月里让许多社区主导的项目充斥着低质量的代码。

“我们采访过的很多软件包维护者都被垃圾淹没了,”洛克说。——写得实在是太糟糕了。它甚至没有经过深思熟虑,不适合并且包含各种其他废话。”

大量以人工智能为媒介的代码迫使最受欢迎的代码存储库托管商之一 GitHub 不得不重新考虑其开源软件维护方法。周五,GitHub 首席运营官表示,整个平台2026 年的活动大致将激增 14 倍高于 2025 年水平。

然而,正如斯坦伯格所说,随着由人工智能驱动的审查和完善代码的程序变得越来越受欢迎,其他人工智能系统也可能会更好地扑灭人工智能引发的新火灾。

Loker 指出 CodeRabbit 自己的系统是由人工智能驱动的,他说:“对于大多数采用这些系统的公司来说,现在确实非常需要自动化的代码审查系统。我们不再需要向人们推销“质量是一个问题”的观念。我们的合作伙伴使用人工智能进行编码的时间已经足够长,现在他们已经看到了有害的副作用。”

Anthropic 的 Cherny 认为,人工智能系统编码能力的快速改进将有助于解决代码质量和可靠性方面新出现的鸿沟。“我打赌不会出现灾难性的后果,因为该模型将变得更擅长编写更少马虎的代码并修复现有的代码问题,”切尔尼在一月底写道

尽管代码审查系统的家庭手工业不断增长,伊利诺伊大学的康坚信,无论新老程序员都可以通过采用古老的网络安全基础知识来保护他们的系统免受代码泄露的影响。“如果你应用所有最佳实践并做所有正确的事情,那么你实际上可以比人工智能系统之前更好,”他说。

然而,鉴于人工智能的狂热采用,康对用户实际上是否会采取足够的安全实践感到悲观。因此,他对代码溢出的长期影响持悲观态度:“它会爆炸”。这肯定会非常糟糕。”

“问题只是如何以及何时,这就是我担心的。”

关于《任何人都可以使用人工智能编码。但这可能会带来隐性成本。》的评论

暂无评论

发表评论

摘要

人工智能系统使任何人都可以在没有编码专业知识的情况下创建软件,但这种轻松伴随着对所生成代码的质量和安全性的担忧。专家们争论人工智能生成的代码是否会导致臃肿且容易出错的软件增加,或者通过更快的审查流程增强安全性。虽然人工智能可以减少打字错误等人为错误,但它常常难以维护干净、可读和安全的代码。人工智能辅助编码的兴起导致低质量提交激增,压垮了社区主导的开源项目,并迫使 GitHub 等平台做出调整。随着人工智能生成的代码量的增加,人们越来越依赖人工智能工具来审查和改进代码质量。然而,一些专家警告说,如果没有适当的安全实践,编写不良的代码的扩散可能会在未来导致严重的漏洞和软件故障。