能够发明人工智能的人工智能即将到来。系好安全带。

利奥波德·阿申布伦纳 (Leopold Aschenbrenner)——态势感知——宣言于今年夏天发表时引起了轰动。

在这篇颇具争议性的文章中，22 岁的神童、前 OpenAI 研究员 Aschenbrenner 认为通用人工智能 (AGI) 将于 2027 年出现，到 2029 年人工智能将消耗美国全部电力的 20%，并且人工智能将释放出难以估量的破坏力，并在几年内重塑世界地缘政治秩序。

阿申布伦纳关于指数级加速人工智能进步的惊人论文基于一个核心前提：人工智能很快就会变得强大到足以进行人工智能研究本身，从而导致递归的自我改进和失控的超级智能。

由自我改进的人工智能推动“智能爆炸”的想法并不新鲜。摘自 Nick Bostrom 2014 年开创性的著作超级智能到热门电影她，这个概念长期以来一直在有关人工智能长期未来的讨论中占据重要地位。

事实上，早在 1965 年，艾伦·图灵的亲密合作者 I.J.古德雄辩地阐明了这种可能性：“让超级智能机器被定义为一种可以远远超越任何人的所有智力活动的机器，无论他多么聪明。”由于机器设计是这些智力活动之一，因此超级智能机器可以设计出更好的机器；毫无疑问，届时将会出现“智力爆炸”，而人类的智力将被远远抛在后面。因此，第一台超级智能机器是人类需要做出的最后一项发明。”

自我改进的人工智能在智力上是一个有趣的概念，但即使在今天的人工智能炒作中，它仍然保留着科幻小说的味道，或者至少仍然感觉抽象和假设，类似于奇点。

但是——尽管很少有人注意到——这个概念实际上开始变得更加真实。在人工智能科学的前沿，研究人员已经开始在构建人工智能系统方面取得切实进展他们自己可以构建更好的人工智能系统。

这些系统尚未准备好迎接黄金时段。但他们可能比你想象的更早到来。如果你对人工智能的未来感兴趣，你应该关注。

将人工智能指向自身

以下是构建该主题的直观方法：

人工智能正在获得使更广泛的人类活动自动化的能力。用不了多久，就能够执行整个人类工作本身，从客户服务代理到软件工程师再到出租车司机。

为了让人工智能能够递归地自我改进，它所需要的只是学会执行一项人类工作：人工智能研究人员的工作。

如果人工智能系统可以进行自己的人工智能研究，他们就可以提出更好的人工智能架构和方法。通过简单的反馈循环，那些卓越的人工智能架构可以自己设计出更强大的架构，等等。

（长期以来，使用人工智能来自动化人工智能开发过程的狭窄部分已经是常见的做法。神经架构搜索和超参数优化就是两个例子。但是自动化人工智能研究人员可以在人工智能端执行科学发现的整个过程- 无需人工参与即可完成 - 这是一个截然不同且更强大的概念。）

乍一看，这听起来可能有些牵强。人工智能的基础研究难道不是人类能够进行的认知最复杂的活动之一吗？尤其是对于人工智能行业之外的人来说，人工智能科学家的工作可能看起来很神秘，因此很难想象自动化。但人工智能科学家的工作实际上包括什么？

在的话Leopold Aschenbrenner：“从总体上看，人工智能研究人员的工作相当简单：阅读机器学习文献并提出新的问题或想法，实施实验来测试这些想法，解释结果，然后重复。”¤

这个描述听起来可能过于简单化和简单化，从某种意义上来说确实如此。但它指出了这样一个事实：自动化人工智能研究可能出人意料地容易处理。

一方面，人工智能核心算法和方法的研究可以数字化进行。与此相比，生物学或材料科学等领域的研究（至少在今天）需要通过复杂的实验室设置导航和操纵物理世界的能力。对于人工智能来说，处理现实世界是一个更加严峻的挑战，并且对学习和进步的速度带来了重大限制。完全可以在“位而不是原子”领域完成的任务更容易实现自动化。可以提出一个有争议的论点，即人工智能将更快地学会自动化人工智能研究人员的工作，而不是自动化水管工的工作。

还要考虑一下，开发尖端人工智能系统的人正是那些最熟悉人工智能研究如何进行的人。因为他们非常熟悉自己的工作，所以他们特别适合构建系统来自动化这些活动。

再次引用 Aschenbrenner 的话，进一步揭开人工智能研究人员工作的神秘面纱：“值得强调的是，过去十年中一些最大的机器学习突破是多么简单和狡猾：“哦，只需添加一些标准化即可”（LayerNorm / BatchNorm）或 ― 用 f(x)+x 而不是 f(x) ― （剩余连接）或 ― 修复实现错误 ― （Kaplan ― Chinchilla 缩放法则）。人工智能研究可以自动化。自动化人工智能研究足以启动非凡的反馈循环。”

Sakana 的人工智能科学家

关于人工智能开展人工智能研究的叙述在智力上令人着迷。但它也可能让人感觉是假设和未经证实的。这使得很容易刷掉。

Sakana AI 发布了它之后，就变得更难拒绝了。– AI 科学家 – 论文今年八月。

Sakana 总部位于日本，是一家资金雄厚的人工智能初创公司，由谷歌的两位著名人工智能研究人员创立，其中包括该技术的联合发明人之一。变压器架构。

Sakana 的“AI Scientist”是一个 AI 系统，可以执行人工智能研究的整个生命周期：阅读现有文献，产生新颖的研究想法，设计实验来测试这些想法，进行这些实验，撰写研究论文来报告其发现，然后对其工作进行同行评审。

它这样做完全自主，无需人工输入。

这位人工智能科学家在人工智能的三个不同领域进行了研究：基于变压器的语言模型、扩散模型和神经网络学习动力学。

它在这三个领域分别发表了数十篇研究论文，标题如下– 通过 Q-Learning 实现 Transformers 的自适应学习率 –,—解锁 Grokking：Transformer 模型中权重初始化策略的比较研究 —和– 双尺度扩散：低维生成模型的自适应特征平衡。 –

这些人工智能生成的论文的全文可在线获取。我们建议您花一些时间亲自查看其中的一些内容，以便对人工智能科学家的成果有第一手的感受。

那么，这位“人工智能科学家”的研究成果有多好呢？这是否只是训练数据的陈词滥调，没有添加增量洞察力？或者，明天它会取代 OpenAI 的所有人类人工智能研究人员吗？答案是否定的。

正如 Sakana 团队总结的那样： – 总体而言，我们认为 The AI Scientist 的表现相当于早期 ML 研究人员的水平，他们能够胜任执行一个想法，但可能不具备完整的背景知识来充分解释原因算法成功的背后。如果向人类主管提供这些结果，合理的下一步行动可能是建议人工智能科学家重新调整项目范围以进一步调查[某些相关主题]。

人工智能科学家证明自己有能力提出关于人工智能系统的合理且相关的新假设；设计然后执行简单的实验来评估这些假设；并将其结果写成研究论文。换句话说，它证明了自己有能力开展人工智能科学。这是非常了不起的。

它发表的一些论文被认为高于世界领先的机器学习会议 NeurIPS 接受的质量门槛。那就更了不起了。

为了充分了解人工智能科学家的能力——它的优势和当前的局限性——值得花一些时间更详细地浏览其中一篇论文。（留在这儿陪我；我保证这是值得的。）

让我们考虑一下它的论文– 双尺度扩散：低维生成模型的自适应特征平衡。 – 这既不是 AI 科学家最强的论文之一，也不是最弱的论文之一。

AI 科学家首先确定了 AI 文献中需要关注的一个未解决的问题：扩散模型在生成样本时平衡全局结构与局部细节所面临的挑战。

它提出了一种新颖的架构设计来解决这个问题：在标准降噪器网络中实现两个并行分支，以使扩散模型更好地捕获全局结构和局部细节。

正如（人类）Sakana 研究人员所观察到的那样，人工智能科学家选择关注的主题是一个明智且动机良好的研究方向，并且它提出的特定想法是新颖的，并且据我们所知尚未得到广泛研究。 –

然后，系统设计一个实验计划来测试其想法，包括指定评估指标和与基线的比较，并编写必要的代码来执行这些实验。

在审查了一组初始实验的结果后，人工智能科学家迭代代码并进行进一步的实验，在此过程中做出一些创造性的设计选择（例如，使用非常规类型的激活函数 LeakyReLU）。

完成实验后，系统会生成一份 11 页的研究论文，报告其结果，并附有图表、数学方程以及科学论文中所期望的所有标准部分。值得注意的是，本文的“结论和未来工作”部分提出了一系列深思熟虑的后续步骤，以进一步推动这一研究方向，包括扩展到更高维度的问题、尝试更复杂的自适应机制以及开发更好的理论基础。

重要的是，人工智能科学家提出的新颖架构设计实际上确实带来了更好的扩散模型性能。

当然，这篇论文并不完美。它犯了一些与模型架构相关的小技术错误。它成为了一些幻觉的受害者，例如，错误地声称其实验是在 Nvidia V100 GPU 上运行的。它错误地将实验结果描述为反映变量的增加，而实际上该变量已经减少。

在研究过程的最后一步，“自动审稿人”（AI Scientist 系统中的一个单独模块）对论文进行同行评审。自动审稿人准确地识别并列举了论文的优点（例如，“平衡低维数据扩散模型中的全局和局部特征的新方法”）和缺点（例如，“计算成本”）明显更高，这可能会限制实际应用性）。

总体而言，审稿人根据以下评分对本文评分 5 分（满分 10 分）：NeurIPS 会议评审指南：“边界接受”。

如果这是 GPT-1 怎么办？

Sakana 的人工智能科学家是递归自我改进人工智能系统的原始概念证明。

它有许多明显的局限性。其中许多限制代表了提高其能力的近期机会。例如：

尽管科学文献中的许多信息都包含在图表中，但它只能读取文本，而不能读取图像。如今，能够理解文本和图像的人工智能模型已广泛使用。通过赋予人工智能科学家多模式功能来升级它是很简单的。

它无法访问互联网。这也将是一个简单的升级。

Sakana 团队没有为这项工作预训练或微调任何模型，而是完全依赖于现有通用前沿模型的提示。可以肯定地假设，针对 AI 科学家系统（例如自动审阅者）内特定任务的模型进行微调将有意义地提高性能。

也许未来绩效提升的两个最重要的机会：

首先，人工智能科学家的作品是在 OpenAI 新的 o1 模型发布之前发布的，其创新的推理时间搜索架构将极大地提高此类系统的计划和推理能力。

其次，这些结果是使用几乎可笑的少量计算获得的：单个 Nvidia H100 节点（8 个 GPU）运行一周。

提高系统可用的计算能力可能会极大地提高人工智能科学家的研究工作质量，即使其他一切保持不变，也能使其产生更多的想法、运行更多的实验并探索更多的研究方向。平行线。

将计算资源的增加与不断改进的前沿模型和 o1 等算法进步相结合，可以在短时间内显着提高这些系统的性能。

因此，Sakana 的人工智能科学家工作最重要的收获并不是该系统目前的能力。这就是像这样的系统很快就能实现的功能。

用 AI Scientist 工作的首席研究员之一 Cong Lu 的话说：“我们确实相信这是 AI 科学的 GPT-1。”

OpenAI 的GPT-1论文于 2018 年出版，几乎没有人注意到。短短几年后，GPT-3 (2020) 和 GPT-4 (2023) 改变了世界。

如果说当今人工智能领域有一件事值得押注，那就是底层技术将继续以惊人的速度变得更好。如果像 Sakana 的人工智能科学家这样的努力的进步速度与过去几年语言模型的轨迹有一点相似，那么我们将面临巨大的、令人迷失方向的变化。

正如 Lu 所说：“到明年，这些系统将会变得更好。”AI 科学家 2.0 版本将变得几乎无法识别。”

结论性思考

今天的人工智能技术很强大，但它并没有能力让自己变得更强大。

GPT-4是一项令人惊叹的技术成就，但它并不是自我完善的。从 GPT-4 迁移到 GPT-5 将需要许多人花费大量时间进行构思、实验和迭代。如今，开发尖端人工智能仍然是一项手动、手工的人类活动。

但如果情况发生变化呢？如果人工智能系统能够自主创建更强大的人工智能系统——然后又可以创建更强大的人工智能系统，会怎么样？

这种可能性比大多数人所意识到的更为真实。

我们相信，在未来几年中，由自我改进的人工智能引发的“智能爆炸”概念将由 I.J. 等思想家在过去几十年中阐述。Good、Nick Bostrom 和 Leopold Aschenbrenner 将从一种牵强的理论幻想转变为一种真实的可能性，人工智能技术专家、企业家、政策制定者和投资者将开始认真对待这种可能性。

就在上个月，人类已更新其风险治理框架强调人工智能的两个特定风险来源：（1）可以帮助人类用户制造化学、生物、放射性或核武器的人工智能模型；(2) 人工智能模型可以“独立执行通常需要人类专业知识的复杂人工智能研究任务”，有可能以不可预测的方式显着加速人工智能的发展。

将其视为即将发生的事情的征兆。

值得解决这个主题中经常出现的一个重要的概念性、几乎是哲学性的问题。即使人工智能系统能够对现有人工智能架构进行渐进式改进，正如我们在上面的 Sakana 示例中看到的那样，它们是否能够提出真正原创的、范式转变的、“从零到一”的技术？突破？人工智能能否产生像变压器、卷积神经网络或反向传播这样基础的科学进步？

换句话说，“双尺度扩散：低维生成模型的自适应特征平衡”（上面讨论的人工智能生成的论文）和“注意力就是你所需要的一切”（2017 年的开创性论文，介绍了变压器架构）有什么区别？或者说有可能只是程度的不同？更多数量级的计算以及几代日益先进的前沿模型是否足以弥合两者之间的差距？

答案是我们还不知道。

但无论如何，这项技术都可能改变游戏规则。

“要记住的一个关键点是，绝大多数人工智能研究本质上都是渐进式的，”一家名为 AutoScience 的年轻初创公司的首席执行官兼联合创始人 Eliot Cowan 表示，该公司正在构建一个人工智能平台来自主进行人工智能研究。– 进步主要就是这样发生的。作为一名人工智能研究人员，你经常会提出一个你认为会带来变革的想法，然后它最终只会带来 1.1 倍的改进或类似的东西，但这仍然是一种改进，你的系统也会因此变得更好它的。如今，人工智能能够自主完成此类研究。”

你可以确定的一件事是：虽然 OpenAI 和 Anthropic 等领先的前沿实验室不会公开承认这一点，但他们正在非常认真地对待自动化人工智能研究人员的可能性，并且已经投入了真正的资源来追求这一概念。

人工智能世界中最有限、最宝贵的资源就是人才。尽管当今人工智能炙手可热，但全世界拥有进行前沿人工智能研究的培训和技能的人仍然不超过几千人。想象一下，如果有一种方法可以使用人工智能将这个数字增加千倍或百万倍。OpenAI 和 Anthropic 负担不起不是认真对待这一点，以免他们被抛在后面。如果现在感觉人工智能的进步速度快得令人迷失方向，想象一下，一旦数以百万计的自动化人工智能研究人员全天候（24/7）部署以推动该领域的前沿发展，那会是什么样的感觉。

在生命科学、机器人技术、材料科学以及应对气候变化方面，哪些突破可能很快就会实现？人类福祉可能会出现哪些意想不到的风险？

系好安全带。