研究
- 出版
- 作者
新的AI代理通过将大语言模型的创造力与自动化评估者相结合,以数学和实际应用的算法发展
大型语言模型(LLMS)的用途非常广泛。他们可以总结文档,生成代码甚至集思广益。现在,我们扩大了这些功能,以针对数学和现代计算中的基本和高度复杂的问题。
今天,我们宣布alphaevolve,一种由大语言模型提供动力的进化编码代理,用于通用算法发现和优化。alphaevolve配对我们的创造性问题解决能力双子座模型借助验证答案的自动评估者,并使用进化框架来改进最有前途的想法。
Alphaevolve提高了Google数据中心,芯片设计和AI培训过程的效率,包括训练Alphaevolve本身的大型语言模型。它还帮助设计了更快的矩阵乘法算法,并找到了开放数学问题的新解决方案,从而在许多领域中对应用显示出了令人难以置信的希望。
使用大语言模型设计更好的算法
在2023年,我们首次展示了大型语言模型可以生成用计算机代码编写的功能以帮助发现新的且可证明正确的知识关于一个开放的科学问题。Alphaevolve是一种可以超越单个功能发现的代理,以发展整个代码库并开发更复杂的算法。
Alphaevolve利用了最先进的大语言模型的合奏:我们最快,最有效的模型,双子座闪光灯,最大化探索的思想广度,而我们最强大的模型,双子座专业人士,提供有见地的建议。这些模型共同提出了将算法解决方案作为代码实现的计算机程序。
图表显示了提示采样器如何首先为语言模型组装提示,然后生成新程序。这些程序由评估人员评估并存储在程序数据库中。该数据库实现了一种进化算法,该算法确定将用于将来的提示。
Alphaevolve使用自动评估指标验证,运行和评分提出的程序。这些指标提供了对每个解决方案的准确性和质量的客观,可量化的评估。这使Alphaevolve在可以清晰,系统地测量的广泛领域中特别有用,例如数学和计算机科学。
优化我们的计算生态系统
在过去的一年中,Alphaevolve在Google的计算生态系统中发现了Alphaevolve发现的算法,包括我们的数据中心,硬件和软件。这些改进的影响在我们的AI和计算基础架构中倍增,以为我们所有用户建立一个更强大,更可持续的数字生态系统。
图显示了Alphaevolve如何帮助Google提供更有效的数字生态系统,从数据中心调度和硬件设计到AI模型培训。
改进数据中心计划
Alphaevolve发现了一种简单但非常有效的启发式方法来帮助博格更有效地协调Google的庞大数据中心。现在,该解决方案已经生产了一年多,平均持续收回了Google全球计算资源的0.7%。这种持续的效率增益意味着,在任何给定的时刻,可以在同一计算足迹上完成更多任务。Alphaevolve的解决方案不仅可以带来强大的性能,而且还提供了人类可读代码的重要操作优势:可解释性,可辩论性,可预测性和易于部署。
协助硬件设计
Alphaevolve提出了aVerilog重写以用于矩阵乘法的键,高度优化的算术电路中的不必要的位。至关重要的是,该建议必须通过强大的验证方法,以确认修饰的电路保持功能正确性。该提议已融入了即将到来的张量处理单元(TPU),Google的自定义AI加速器。通过建议用芯片设计师的标准语言进行修改,Alphaevolve促进了AI和硬件工程师之间的协作方法,以加速未来的专业芯片的设计。
增强AI培训和推理
Alphaevolve正在加速AI性能和研究速度。通过找到更智能的方法将大型矩阵乘法分为更易于管理的子问题,它加快了这一重要核心在双子座的建筑中,达到23%,导致双子座的训练时间减少了1%。由于开发生成的AI模型需要大量的计算资源,因此获得的每一个效率都转化为可观的节省。除了性能增长之外,Alphaevolve大大减少了内核优化所需的工程时间,从数周的专家努力到自动实验的天数,从而使研究人员更快地创新。
Alphaevolve还可以优化低级GPU指令。这个令人难以置信的复杂域通常已经由编译器进行了大量优化,因此人类工程师通常不会直接修改它。Alphaevolve实现了32.5%的速度闪存内核实现变压器基于AI模型。这种优化有助于专家指出性能瓶颈,并轻松地将改进纳入其代码库中,提高其生产率并为未来的计算和能源节省。
推进数学和算法发现领域的前沿
Alphaevolve还可以提出复杂数学问题的新方法。Alphaevolve为计算机程序提供了最小的代码骨架,设计了一个小说的许多组成部分基于梯度的优化发现了多种用于矩阵乘法的新算法,这是计算机科学中的基本问题。
Alphaevolve提出的更改列表,以发现更快的矩阵乘法算法。在此示例中,Alphaevolve提出了多个组件的广泛变化,包括优化器和权重初始化,损耗函数和超参数扫描。这些变化是高度不平凡的,在进化过程中需要15个突变。
Alphaevolve的程序找到了一种算法,使用48个标量乘法来乘以4x4复合物值矩阵,从而改善Strassen S 1969算法以前在这种情况下被称为最好的。这一发现表明,在我们以前的工作中,alphatensor,专门从事矩阵乘法算法,对于4x4矩阵,仅发现二进制算术的改进。
为了研究alphaevolve的广度,我们将系统应用于数学分析,几何,组合和数理论的50多个开放问题。该系统的灵活性使我们能够在几个小时内进行大多数实验。据我们所知,在大约75%的案件中,它重新发现了最先进的解决方案。
在20%的情况下,Alphaevolve改善了以前最著名的解决方案,在相应的开放问题上取得了进展。例如,它提出了接吻号码问题。这个几何挑战有迷人的数学家已有300多年并涉及接触普通单位球体的非重叠球的最大数量。Alphaevolve发现了593个外球的配置,并在11个维度中建立了一个新的下限。
前进的路
Alphaevolve展示了从发现特定领域的算法到为各种现实世界挑战开发更复杂的算法的发展。我们希望Alphaevolve继续与大语言模型的能力一起继续提高,尤其是当它们变得甚至更好地编码。
与人 + AI研究团队,我们一直在建立一个友好的用户界面,以与Alphaevolve进行交互。我们计划为选定的学术用户提供早期访问计划,并探索使Alphaevolve更广泛可用的可能性。要注册您的利息,请完成此形式。
虽然目前正在跨数学和计算应用Alphaevolve,但它的一般性质意味着它可以应用于任何可以将解决方案描述为算法并自动验证的问题。我们认为,在材料科学,药物发现,可持续性以及更广泛的技术和业务应用等许多领域,Alphaevolve可能会具有变革性。
致谢
Alphaevolve由Matej Balog,Alexander Novikov,Ngâ¢nVåSwarat Chaudhuri,George Holland,Alex Davies,Sebastian Nowozin和Pushmeet Kohli。这项研究是作为我们努力的一部分而开发的,重点是将AI用于算法发现。
We gratefully acknowledge contributions, advice, and support from Jean-Baptiste Alayrac, Ankit Anand, Natasha Antropova, Giorgio Arena, Mohammadamin Barekatain, Johannes Bausch, Henning Becker, Daniel Belov, Alexander Belyaev, Sebastian Bodenstein, Sebastian Borgeaud, Calin Cascaval, Indranil Chakraborty, Benjamin Chetioui, Justin Chiu, Christopher Clark, Marco Cornero, Jeff Dean, Gaurav Dhiman, Yanislav Donchev, Srikanth Dwarakanath, Jordan Ellenberg, Alhussein Fawzi, Michael Figurnov, Aaron Gentleman, Bogdan Georgiev, Sergio Guadarrama, DemisHassabis,Patrick Heisel,Chase Hensel,Koray Kavukcuoglu,Sultan Kenjeyev,Aliia Khasanova,Sridhar Lakshmanamurthy,Sergei Lebedev,Dmitry Lepikhin,Daniel Mankowitz,Daniel Mankowitz,Andrea Michahi,Kieran Milan,kieran,virbertor ofertor ofertor ofertoroodood nair'' Paduraru, Stig Petersen, Federico Piccinini, Parthasarathy Ranganatha, Bernardino Romera-Paredes, Georges Rotival, Kirk Sanders, Javier Gomez Serrano, Oleg Shyshkov, Timur Sitdikov, Tammo Spalink, Kerry Takenaka, Richard Tanburn, Terence Tao, Amin Vahdat, JDVelasquez,Dimitrios Vytiniotis,Julian Walker和Pengming Wang。有关更多详细信息,请参阅我们的白皮书。
我们要感谢Armin Senoner,Juanita Bawagan,Jane Park,Arielle Bier和Molly Beck在博客文章中提供了反馈,并为此公告提供了帮助;威廉·胡德(William Hood),伊琳娜·安德里奇(Irina Andronic