十多年来，各公司押注于一条诱人的经验法则：只要找到继续扩大规模的方法，人工智能系统就会变得越来越聪明。这不仅仅是一厢情愿的想法。2017年，中国科技公司百度的研究人员证明了将更多的数据和计算能力注入机器学习算法中，可以产生数学上可预测的改进——无论系统的设计目的是识别图像、语音还是生成语言。注意到同样的趋势，2020 年，开放人工智能创造了“规模法则”一词，此后成为该行业的试金石。
这篇论文促使人工智能公司在更大的计算集群和数据集上投入数亿美元。这场赌博获得了丰厚的回报，将原始的文本机器转变为当今清晰的聊天机器人。
但现在，“越大越好”的福音正受到质疑。
上周，报道称路透社和彭博社表明领先的人工智能公司在扩展其人工智能系统时正在经历回报递减。几天前，信息报告称，在未发布的 Orion 模型未能达到内部测试预期后，OpenAI 对持续进步表示怀疑。硅谷著名风险投资公司 Andreessen Horowitz 的联合创始人呼应了这些情绪，指出计算能力的提高不再产生相同的“智能改进”。
科技公司在说什么？
尽管如此，许多领先的人工智能公司似乎对全速前进充满信心。广受欢迎的聊天机器人 Claude 的开发者 Anthropic 的发言人在一份声明中表示，“我们没有看到任何偏离缩放定律的迹象。”OpenAI 拒绝发表评论。谷歌 DeepMind 没有回应置评。然而，上周，在 Google Gemini 模型的实验性新版本在流行的 AI 性能排行榜上夺得 GPT-4o 的榜首之后，该公司首席执行官 Sundar Pichai发布到 X说“还会有更多。”
阅读更多：研究人员试图一睹人工智能的未来
最近发布的版本描绘了一幅有点复杂的景象。自 3 月份发布以来，Anthropic 已对其中型型号 Sonnet 进行了两次更新，使其比该公司最大的型号 Opus 更强大，后者尚未收到此类更新。6月，公司说Opus 将在“今年晚些时候”进行更新，但上周，联合创始人兼首席执行官达里奥·阿莫迪 (Dario Amodei) 在 Lex Fridman 播客上发表讲话拒绝给出具体的时间表。谷歌在二月份更新了其较小的 Gemini Pro 型号，但该公司较大的 Gemini Ultra 型号尚未收到更新。OpenAI 最近发布的 o1-preview 模型在多项基准测试中优于 GPT-4o，但在其他基准测试中表现不佳。o1-预览版是据说内部称为“带有推理的 GPT-4o”，表明底层模型在规模上与 GPT-4 类似。
由于各方利益的竞争，真相的解析变得复杂。如果 Anthropic 无法生产出更强大的模型，那么“我们作为一家公司就已经彻底失败了”，Amodei说上周，我们可以一睹那些将未来押注于不断进步的人工智能公司的赌注。经济放缓可能会吓到投资者并引发经济清算。同时，伊利亚·苏茨克维尔，OpenAI 前首席科学家，曾经是扩展的热心支持者，现在说较大型号的性能提升已趋于稳定。但他的立场也有其自身的包袱：Suskever 的新人工智能初创公司 Safe Superintelligence Inc.六月推出与竞争对手相比，其资金和计算能力较少。规模假设的崩溃将方便地帮助创造公平的竞争环境。
“他们有这些他们认为是数学定律的东西，他们正在根据这些数学定律进行预测，但系统并没有满足这些定律，”人工智能领域的领军人物、多本书的作者加里·马库斯（Gary Marcus）说，其中包括驯服硅谷。他说，最近关于收益递减的报告表明我们终于“碰壁了”——他警告过的事情可能会发生自2022年起。– 我不知道具体什么时候会发生，但我们确实取得了一些进展。现在看来我们陷入了困境，”他说。
马库斯说，速度放缓可能反映了当前深度学习技术的局限性，或者仅仅是因为“不再有足够的新数据”。这一假设在一些密切关注人工智能的人中得到了广泛的认可。Hugging Face 的人工智能和气候主管 Sasha Luccioni 表示，从文本和图像中获取的信息量是有限的。她指出，人们通过短信（而不是面对面）更有可能误解你的意图，作为文本数据局限性的一个例子。“我认为语言模型就是这样，”她说。
Epoch AI 的高级研究员 Ege Erdil 表示，在推理和数学等某些领域，数据的缺乏尤为严重，我们“只是没有那么多高质量的数据”。Epoch AI 是一家研究人工智能趋势的非营利组织。人工智能开发。这并不意味着扩展可能会停止，只是仅扩展可能是不够的。“在每一个数量级的扩展中，都必须找到不同的创新，”他说，并指出这并不意味着人工智能的进步会整体放缓。
阅读更多： 人工智能即将耗尽数据吗？石油的历史说不
这并不是批评者第一次宣布规模化已死。– 在扩展的每个阶段，总会有争论， – Amodei说上星期。– 我们今天收到的最新消息是，“我们将耗尽数据，或者数据质量不够高，或者模型无法推理。” –...我已经多次看到这样的故事发生，我真的相信规模扩大可能会继续下去，”他说。回顾 OpenAI 的早期发展Y-Combinator 的播客，公司首席执行官萨姆 奥特曼将公司的成功部分归功于对规模化的“宗教信仰”，他说这个概念在当时被认为是“异端”。回应最近的一则在 X 上发帖马库斯说他对收益递减的预测是正确的，奥特曼发布说“没有墙。”
说，尽管可能还有另一个原因，我们可能会听到新模型未能满足内部期望的回声海梅·塞维利亚，Epoch AI 总监。在与 OpenAI 和 Anthropic 的人员交谈后，他感觉到人们抱有极高的期望。“他们预计人工智能将能够撰写博士论文，”他说。“也许感觉有点……虎头蛇尾。”
塞维利亚表示，暂时的平静并不一定意味着经济放缓。历史表明，重大进展之间存在显着差距：GPT-4 仅仅 19 个月前发布，其本身比 GPT-3 晚了 33 个月。“我们往往会忘记，GPT 3 和 GPT 4 的计算规模相当于 100 倍，”Sevilla 说。“如果你想做比 GPT-4 大 100 倍的事情，你将需要多达 100 万个 GPU，”Sevilla 说。这比目前存在的任何已知集群都要大，不过他指出，今年大家都在共同努力建设人工智能基础设施，例如埃隆·马斯克在孟菲斯建造的 100,000 个 GPU 超级计算机，这是同类中最大的计算机。据说从开始到完成仅用了三个月的时间。
在此期间，人工智能公司可能会探索其他方法来在模型训练后提高性能。OpenAI 的 o1-preview 已被预示举一个这样的例子，它在推理问题上优于以前的模型，因为它被允许有更多的时间思考。“我们已经知道这是可能的，”Sevilla 指着 Epoch AI 说道报告于 2023 年 7 月发布。
政策和地缘政治影响
过早地诊断出经济放缓可能会产生硅谷和华尔街以外的影响。GPT-4 发布后人们对技术进步速度的感知促使公开信呼吁暂停大型系统的训练六个月，以便让研究人员和政府有机会迎头赶上。这封信获得了 30,000 多名签名者，其中包括麝香和图灵奖获得者约书亚·本吉奥。感知到的放缓是否会产生相反的效果，导致人工智能安全从议程中溜走，这是一个悬而未决的问题。
美国的大部分人工智能政策都是建立在人工智能系统规模将继续扩大的信念之上的。拜登的一项条款关于人工智能的全面行政命令，于 2023 年 10 月签署（以及预计将被废除特朗普白宫）要求人工智能开发人员与政府分享有关使用超过一定阈值的计算能力训练的模型的信息。该阈值设置在当时可用的最大模型之上，假设它将针对未来更大的模型。同样的假设也支持出口限制（限制向某些国家销售人工智能芯片和技术），旨在限制中国获得构建大型人工智能模型所需的强大半导体。然而，如果人工智能发展的突破开始减少对计算能力的依赖，而更多地依赖更好的算法或专业技术等因素，那么这些限制对减缓中国人工智能进步的影响可能会较小。
“美国需要了解的最重要的事情是，在某种程度上，出口管制是建立在技术时间表理论的基础上的，”美国科学院技术与国际事务项目的访问学者斯科特·辛格（Scott Singer）说。卡内基国际和平基金会。他说，在美国“停滞在前沿”的世界里，我们可以看到全国范围内推动人工智能突破的努力。他表示，美国在人工智能领域领先地位的下滑可能会激发与中国就安全原则进行谈判的更大意愿。
我们是否会看到真正的放缓，还是只是飞跃之前的又一次停顿，还有待观察。“我不清楚几个月是否是一个足够重要的参考点，”辛格说。“您可能会达到稳定状态，然后获得极快的增长。”