人工智能公司遇到了规模扩张的障碍

OpenAI、谷歌和其他公司发现构建越来越大的模型的回报正在递减，但这可能并不像您想象的那么重要

2024 年 11 月 14 日Ø

阅读时间 12 分钟 iPhone 上语音模式下的 ChatGPT。（索伦·费伊萨 / Unsplash）

我。

过去一周，来自大型人工智能实验室内部人士的一些报道称，构建超级智能的竞赛正在陷入困境。

具体来说，他们表示，将行业从 OpenAI 的第一个大型语言模型带到我们今天拥有的法学硕士的方法已经开始显示出回报递减。

今天，让我们看看所有参与者都在说什么，并考虑一下这对人工智能军备竞赛意味着什么。虽然有报道称人工智能缩放定律在技术上似乎是准确的，但它们也很容易被误读。无论好坏，更强大的人工智能系统的开发似乎都在继续加速。

缩放定律当然，它们并不是“自然法则”意义上的法则。相反，它们与摩尔定律一样，包含观察和预测。我们观察到，随着模型大小、输入模型进行训练和测试的数据量以及完成训练运行所需的计算资源的增加，LLM 会得到改善。

这些法律首次记录在 OpenAI 于 2020 年发表的一篇论文中，它对人工智能工作人员（以及相关文章的撰写者）的想象力有着强大的影响力。如果这些定律在接下来的几代更大的模型中继续适用，那么大型人工智能公司之一确实可能创造出像超级智能这样的东西，这似乎是合理的。另一方面，如果它们开始崩溃，这些公司可能会面临更加艰巨的任务。追求缩放法则的成本极其高昂，但技术上却很容易理解。如果他们犹豫不决，人工智能军备竞赛的获胜者可能不再是花钱最多、速度最快的公司。

上星期，信息报道称，OpenAI 可能已经开始触及这样的极限。这里有斯蒂芬妮·帕拉佐洛、艾琳·吴和阿米尔·埃弗拉蒂:

今年 5 月，OpenAI 首席执行官 Sam Altman 告诉员工，他预计该初创公司研究人员正在培训的 Orion 可能会比一年前发布的上一个旗舰型号好得多。[...]
一些 OpenAI 员工表示，虽然 Orion 的性能最终超过了之前的型号，但与该公司最后发布的两款旗舰型号 GPT-3 和 GPT-4 之间的跳跃相比，质量的提升要小得多。使用或测试的 Orion。
据员工称，该公司的一些研究人员认为 Orion 在处理某些任务方面并不比其前身可靠。一位 OpenAI 员工表示，Orion 在语言任务上表现更好，但在编码等任务上可能无法超越以前的模型。

路透社本周火上浇油，引用了 OpenAI 联合创始人 Ilya Sutskever 的话，他于今年早些时候离开并创建了自己的人工智能实验室，这似乎证实了缩放法则已达到极限的观点。这里有胡晓明和佟安娜:

AI 实验室 Safe Superintelligence (SSI) 和 OpenAI 的联合创始人 Ilya Sutskever 最近告诉路透社，这是扩大预训练的结果，即训练 AI 模型的阶段，该模型使用大量未标记的数据来理解语言模式和结构 – 已趋于稳定。[...]
– 2010 年代是扩展的时代，现在我们再次回到了奇迹和发现的时代。每个人都在寻找下一个目标，”Sutskever 说道。“扩大正确的规模现在比以往任何时候都更加重要。”

最后，彭博社周三证实 OpenAI 的 Orion 表现不及预期，并表示谷歌和 Anthropic 也遇到了类似的困难。这里有雷切尔·梅斯、希琳·加法里、迪娜·巴斯和朱莉娅·洛芙:

据三位知情人士透露，谷歌即将推出的 Gemini 软件迭代版并未达到内部预期。与此同时，Anthropic 看到其期待已久的 Claude 型号 3.5 Opus 的发布时间表有所推迟。

II.

那么发生了什么？专家们提出了几种理论来解释为什么新模型的性能没有达到制造商的预期。

一是人工智能公司正在耗尽高质量的新数据集来输入他们的模型。至此，他们已经成功地获得了网络上所有容易实现的目标。直到最近，OpenAI、Meta 和其他公司才开始付费从出版商和其他来源获取高质量数据的许可。用合成数据（人工智能实验室自己制作的数据）来掩盖这一缺陷的努力尚未取得突破。

另一种可能更麻烦的解释是，仅靠法学硕士无法构建超级智能。人工智能的进步主要通过这些模型达到各种基准的能力来衡量。虽然法学硕士已经以惊人的速度打破基准，这基准可以被玩弄。更重要的是，模型无法理解因果关系以及其他需要多步骤推理的任务。他们经常犯事实错误并且缺乏现实世界的知识。

正如泰勒·考恩 (Tyler Cowen) 所写，也许是这个问题边际革命今天，我们对“知识”的看法过于狭隘对法学硕士寄予了不可能的期望。

“知识是关于系统的不同部分如何组合在一起的，而不是简单地以线性尺度表达的同源度量，”他写道。– 没有清晰的方法可以单独评估系统中任何单个单元的智能。此外，还有许多“墙”，这意味着即使在最好的情况下，知识也是崎岖不平的。因此，断言一个实体比以前“聪明三倍”是没有意义的。

如果你是那种关心人工智能快速发展的人，这似乎是个好消息。通往超级智能之路上的障碍意味着需要更多的时间来使系统符合人类价值观并防止它们造成伤害。它让社会适应人工智能已经深刻影响我们的方式，从教育到出版再到政治。它让我们呼吸。

但这可能只是一种一厢情愿的想法。

三．

—没有墙, – Sam Altman 今天在 X 上发帖。

今年奥特曼越来越喜欢这种精辟的说法，因为他用他的花园照片来预告即将发布的版本并向他的追随者提供其他复活节彩蛋。

OpenAI 拒绝对上述报道发表评论，但 Altman 似乎否认了这些报道，或者即使不否认他们的个人主张，至少也否认了其影响。他似乎是在说，OpenAI 不会因缩放定律的任何放缓而受到阻碍。确实，信息报道称，该公司最近的重点是以推理为中心的o1模型代表了该公司试图再次加速进步的一种方式。

路透社在报道中引用了 OpenAI 研究员 Noam Brown 的话，他曾在 o1 工作，上个月在旧金山举行的 TED AI 会议上表示。o1 模型使用一种称为“测试时间计算”的技术，该技术可以有效地为模型在推理时提供更多时间和计算。（在 ChatGPT 术语中，推理是您在查询中按 Enter 的那一刻。）

布朗认为，测试时间计算的影响可能是非凡的。

“事实证明，让机器人在扑克牌中思考 20 秒，与将模型扩大 100,000 倍并训练时间延长 100,000 倍具有相同的提升效果，”他在 TED AI 上说道。

因此，难怪人工智能首席执行官似乎相对不受缩放法则放缓的影响。Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 本周出现在莱克斯·弗里德曼 (Lex Fridman) 的播客上，并且也提出了类似的乐观看法。一个

“除了归纳推理，我们什么也没有告诉我们，未来两年将会像过去 10 年一样，”Amodei 说，他在 OpenAI 期间与人合着了第一篇关于缩放定律的论文。“但是我已经看过这部电影足够多的次数了，我已经看过这个故事发生足够多的次数了，我真的相信缩放比例可能会继续下去，而且它有一些我们还没有的魔力”“尚未在理论基础上得到真正的解释。”

当然，有一些自私的理由来提倡缩放定律完好无损的想法。（据报道，人择目前筹集数十亿美元.）但 Anthropic 并不夸张，并且比一些同行更重视人工智能安全。如果人工智能的进步正在放缓，我怀疑公司的许多人实际上可能会松一口气 - 并且会这么说。

最终，在人工智能实验室将下一代模型交到我们手中之前，我们将无法评估它们。周四，谷歌 Gemini 模型的实验性新版本让一些人感到惊讶立即跃居备受关注的人工智能排行榜榜首，将其置于 ChatGPT 4o 之前。在 X 上的一篇帖子中，首席执行官 Sundar Pichai 提供了向上和向右的股票图表表情符号。“未来还会有更多”他说。

实现超级智能确实可能需要单靠缩放定律无法提供的突破。但通往终点线的路径可能不止一条。这意味着，除其他外，我们不应该忽视如果我们到达那里它实际上意味着什么。

人工智能的其他进展：