为什么每个人都在谈论 Andrej Karpathy 的自主人工智能研究代理 |财富
作者:Jeremy Kahn
本月早些时候,安德烈·卡帕蒂 (Andrej Karpathy) 是一位著名的人工智能研究员,他是 OpenAI 的创始员工之一,后来领导了人工智能公司特斯拉,病毒式传播X。仅此一点并不罕见。卡帕蒂(Karpathy)现在是一名独立人工智能研究员,也是 Eureka Labs 的创始人,该实验室声称正在为人工智能时代创建一所新型学校,他在 X 上拥有 190 万粉丝,他的声誉如此之高,以至于他所说的有关人工智能的几乎所有内容都被视为福音或预言。
但是这篇文章是关于他进行的一项实验,其中让人工智能编码代理运行一系列实验,以找出如何改进小型语言模型的训练。他让人工智能代理连续运行两天,期间进行了 700 次不同的实验。在这些实验过程中,它发现了 20 项优化措施,可以缩短训练时间。
Karpathy 发现,对更大但仍然相当小的语言模型应用同样的 20 项调整,模型训练时间加快了 11%。卡帕蒂将他为进行这项实验而构建的系统称为“自动研究”。
Tobias Lütke,联合创始人兼首席执行官购物,在 X 上发布说,他尝试自动研究根据公司内部数据优化人工智能模型,向代理发出指示以提高模型的质量和速度。Lμtke 报告称,让 autoresearch 运行一整夜后,它运行了 37 次实验,性能提升了 19%。
引起许多人注意的是,自动研究与最初在科幻小说中提出的自我改进人工智能系统的想法很接近,一些人工智能研究人员热切渴望,而另一些人则深感恐惧。人们担心的是,“递归自我改进”,即人工智能在某种循环中不断优化自己的代码和训练,可能会导致人工智能安全研究人员有时所说的“硬起飞”或“智能爆炸”。在这些场景中,人工智能系统会迅速提高自己的性能,导致其超越人类认知能力并逃脱人类控制。
卡帕蒂的实验并不完全是这样。自动研究设置的核心人工智能代理并不是完善自己的训练设置,而是调整训练代码和初始神经网络设置,以适应不同的、更小且不太复杂的人工智能模型。但卡帕蒂正确地指出,他的实验对人工智能实验室未来如何进行研究具有重大影响,这可能会加速他们的进展。
– 所有法学硕士前沿实验室都会这样做。这是最后的 Boss 战,”Karpathy写道他承认,“当然,它的规模要复杂得多”,因为他的自动研究员只需要担心调整仅包含 630 行 Python 代码的模型和训练过程,而前沿 AI 模型的训练代码库要大几个数量级。“但这样做只是‘工程’,而且它会起作用,”他继续说道。“你启动了一群代理,让他们合作调整较小的模型,将最有前途的想法推广到越来越大的规模,而人类(可选)在边缘做出贡献。”
他说,虽然他目前构建的自动研究系统是为单个代理沿着单一路径不断改进一段代码而设计的,但他认为未来多个人工智能代理将能够并行探索不同的优化和不同的实验。“自动研究的下一步是它必须为代理进行异步大规模协作,”他写道。“我们的目标不是模仿单个博士生,而是模仿他们组成的研究团体。”
卡帕蒂还说了一些关于自动研究的事情,这让很多人兴奋不已。“您关心的*任何*评估效率相当高的指标(或者具有更有效的代理指标,例如训练较小的网络)都可以由代理群自动研究,”他写道。“值得思考的是,您的问题是否也属于这个范围。”
一些评论家指出,自动研究的基本组件可用于许多其他代理系统来优化流程。Janakiram MSV,Janakiram & Associates 首席分析师,写作在科技出版物中新堆栈称之为“Karpathy Loop”。它具有三个组件:一个代理,可以访问可以修改的单个文件;代理可以优化的单一指标、客观可测试的指标;以及每个实验可以运行多长时间的固定时间限制。他还强调,卡帕蒂在自动研究中给人工智能代理的指令对于任何与人工智能代理交互的人来说也是很好的模型。Karpathy 使用的纯文本文件包括明确的说明,说明代理应该做什么、约束、告诉代理不应该做什么或更改什么,以及停止标准,指示每个循环应运行多长时间以及代理何时应停止循环并报告其结果。
但一些批评者说卡帕蒂所做的只不过是重新发现了一个称为“自动机器学习研究人员在谷歌,微软,其他人工智能实验室已经使用多年。AutoML 还使用优化循环和一系列实验来找到用于 AI 的最佳数据、要使用的最佳模型架构,并调整该模型架构。但它不使用可以阅读人工智能研究论文并提出改进假设的人工智能代理。AutoML 系统往往依赖于随机变化或各种进化算法来决定尝试哪些更改。
Karpathy 回复了其中一些评论,称一些 AutoML 方法,例如神经架构搜索(一种优化 AI 模型设计的自动化方法),远没有他的自动研究那么强大。“当时存在的神经架构搜索是它的一个弱版本,相比之下,它属于完全无用的类别,”他写道。– 这是一个“真正的”法学硕士,可以编写任意代码,从以前的实验中学习,可以访问互联网。还差得很远。”
2001 年,《财富》杂志首次召集了“我们所认识的最聪明的人”会议,汇聚了首席执行官和创始人、建设者和投资者、思想家和实干家。从那时起,财富头脑风暴科技一直是大胆想法碰撞的地方。来自6 月 8 日至 10 日,我们将回到阿斯彭——一切开始的地方——纪念头脑风暴 25 周年。立即注册。