谷歌与微软一样热衷于兜售人工智能软件,该公司报告称,它对自己的人工智能混合物进行了测试,并带着令人愉快的味道离开了实验室。
在一个预印纸,Google 计算机科学家 Stoyan Nikolov、Daniele Codecasa、Anna Sjovall、Maxim Tabachnyk、Satish Chandra、Siddharth Taneja 和 Celal Ziftci 回答了论文标题提出的问题:“Google 如何使用 AI 进行内部代码迁移?”
好奇心想知道,特别是在亚马逊声称它使用 Q Developer AI 编码助手来节省数亿通过将 Java 8 应用程序迁移到 Java 17。
上述巧克力工厂软件工程师试图通过讲述他们如何应用大型语言模型 (LLM)(通俗地说是人工智能)来加速将代码从一种环境转移到另一种环境的过程,从而满足人们的好奇心。
作者在论文中指出:“我们看到证据表明,使用法学硕士可以显着减少迁移所需的时间,并可以减少开始和完成迁移计划的障碍。”
他们的重点是为特定产品领域开发的定制人工智能工具,例如广告、搜索、工作区和 YouTube,而不是提供广泛适用的服务(例如代码完成、代码审查和问答)的通用人工智能工具。
Google的代码迁移涉及:将Google Ads 500多万行代码库中的32位ID更改为64位ID;将其旧的 JUnit3 测试库转换为JUnit4;并用 Java 的标准 java.time 包替换 Joda 时间库。
Google 员工解释说,从 int32 到 int64 的迁移并非易事,因为 ID 通常是通用定义的(C++ 中的 int32_t 或 Java 中的 Integer)并且不易搜索。它们存在于数千个文件的数万个代码位置中。必须跨多个团队跟踪更改,并且必须跨多个文件考虑对类接口的更改。
“如果手动完成,全部工作预计需要数百年的软件工程时间和复杂的跨团队协调,”作者解释道。
对于基于 LLM 的工作流程,Google 的软件工程师实施了以下流程。
Ads 的工程师将结合使用代码搜索来识别需要迁移的 ID,凯斯和自定义脚本。
然后,由本领域知识渊博的人员触发基于 LLM 的迁移工具包,运行以生成包含通过单元测试的代码的经过验证的更改。这些更改将由同一工程师手动检查并可能进行纠正。
此后,代码更改将发送给负责受更改影响的代码库部分的多个审阅者。
结果是,变更列表 (CL) 中 80% 的代码修改纯粹是 AI 的产物;其余的要么是人类创作的,要么是人类编辑的人工智能建议。
“我们发现,在大多数情况下,人类至少需要恢复模型所做的一些不正确或不必要的更改,”作者观察到。“考虑到修改后的代码的复杂性和敏感性,必须花费精力向用户仔细推出每项更改。”
基于此,Google进一步开展了LLM驱动的验证工作,以减少详细审查的需要。
即使需要仔细检查法学硕士的工作,作者估计完成迁移所需的时间也减少了 50%。
在LLM的协助下,仅用了三个月的时间就迁移了5,359个文件并修改了149,000行代码,完成了JUnit3-JUnit4的过渡。AI 生成的代码中大约 87% 最终在没有任何更改的情况下提交。
至于 Joda-Java 时间框架切换,作者估计与预计的手动更改时间相比可节省 89% 的时间,但没有提供具体信息来支持这一说法。
“法学硕士为协助、现代化和更新大型代码库提供了重要的机会,”作者总结道。“它们具有很大的灵活性,因此可以在类似的工作流程中构建各种代码转换任务并取得成功。这种方法有可能从根本上改变大型企业中维护代码的方式。”
Google 员工还强调,LLM 应被视为对依赖抽象语法树 (AST) 和类似 grep 搜索的传统迁移技术的补充。他们指出,可能需要额外的工具来防止人工审核过程成为瓶颈。
LLM 应与其他工具结合使用的另一个原因是它们可能很昂贵 - 因此最好不要在不必要的情况下使用它们。
作者指出:“尽管预测的每个令牌的成本已稳步下降,但迁移通常需要接触数千个文件,并且成本可能会迅速增加。”
即便如此,毫无疑问人工智能已经深刻改变了谷歌开发内部软件的方式。该论文称,“现在通过人工智能辅助完成的代码字符数量比开发人员手动输入的字符数量还要多。”®