人工智能扩展的终结可能还没有到来：接下来会发生什么

随着人工智能系统实现超人的表现在日益复杂的任务中，该行业正在努力解决更大的模型是否可能的问题，或者创新是否必须走不同的道路。

大型语言模型 (LLM) 开发的一般方法是越大越好，并且性能随着更多数据和更强的计算能力而扩展。然而，最近的媒体讨论集中在法学硕士如何接近其极限。—AI 碰壁了吗？Ø边缘质疑，同时路透社报道“随着当前方法的局限性，OpenAI 和其他公司正在寻求通向更智能人工智能的新途径。” 

令人担忧的是，多年来推动进步的扩展可能不会扩展到下一代模型。报告表明，像 GPT-5 这样突破当前人工智能极限的前沿模型的开发可能会因预训练过程中性能增益的减少而面临挑战。信息在 OpenAI 上报告了这些挑战并彭博社覆盖谷歌和 Anthropic 也有类似的消息。 

这个问题引起了人们的担忧，即这些系统可能会受到收益递减法则的影响——每增加一个单位的投入产生的收益会逐渐变小。随着法学硕士规模的扩大，获取高质量训练数据和扩展基础设施的成本呈指数级增长，从而降低了新模型性能改进的回报。使这一挑战更加复杂的是高质量新数据的可用性有限，因为许多可访问的信息已经被纳入现有的训练数据集中。 

这并不意味着结束AI 性能提升。它只是意味着为了保持进步，需要通过模型架构、优化技术和数据使用方面的创新进行进一步的工程设计。

学习摩尔定律

半导体行业也出现了类似的收益递减模式。几十年来，该行业一直受益于摩尔定律，该定律预测晶体管的数量每 18 到 24 个月就会增加一倍，通过更小、更高效的设计推动性能显着提高。这也最终导致收益递减，从某个地方开始2005年至2007年由于登纳德标度– 缩小晶体管也会降低功耗的原理 – 已经达到了极限，这推动了对摩尔定律之死。

我在 2012 年至 2022 年与 AMD 合作时近距离观察到了这个问题。这个问题并不意味着半导体（以及计算机处理器）一代又一代地停止实现性能改进。这确实意味着改进更多地来自小芯片设计、高带宽内存、光开关、更多缓存和加速计算架构，而不是晶体管的缩小。

新的进步之路

类似的现象已经被观察到目前的法学硕士。GPT-4o、Claude 3.5 和 Gemini 1.5 等多模态 AI 模型已经证明了集成文本和图像理解的强大功能，能够在视频分析和上下文图像字幕等复杂任务中取得进展。对训练和推理算法进行更多调整将带来进一步的性能提升。代理技术使法学硕士能够自主执行任务并与其他系统无缝协调，很快将显着扩展其实际应用。

未来的模型突破可能来自一种或多种将符号推理与神经网络相结合的混合人工智能架构设计。OpenAI 的 o1 推理模型已经显示了模型集成和性能扩展的潜力。虽然现在才刚刚走出早期发展阶段，量子计算有望通过解决当前的计算瓶颈来加速人工智能训练和推理。

感知到的扩展墙不太可能结束未来的收益，因为人工智能研究社区不断证明其在克服挑战和释放新功能和性能进步方面的独创性。 

事实上，并不是所有人都同意存在攀岩墙。OpenAI 首席执行官 Sam Altman 的观点很简洁：“没有墙。”

谈到CEO日记— — 播客，前谷歌首席执行官和合著者创世纪埃里克·施密特基本上同意奥特曼的观点，称他不相信存在攀登墙——至少在未来五年内不会出现。– 五年后，您将获得这些法学硕士的曲柄再转动两到三圈。这些曲柄中的每一个看起来都具有两倍、三倍、四倍的能力，所以我们可以说，转动所有这些系统上的曲柄将获得 50 倍或 100 倍的强大功能。“他说。

领先的人工智能创新者仍然对进展速度以及新方法的潜力持乐观态度。这种乐观情绪体现在最近的谈话于☀莱尼的播客— 与 OpenAI 首席产品官 Kevin Weil 和 Anthropic 首席产品官 Mike Krieger 合作。

在这次讨论中，Krieger 描述了 OpenAI 和 Anthropic 今天正在做的事情“感觉就像魔法”，但也承认在短短 12 个月内，“我们会回顾并说，你能相信我们使用了那个垃圾？——这就是[人工智能开发]的发展速度。” 

这是真的，就像我最近在使用 OpenAI 时所经历的那样，确实感觉像魔法一样高级语音模式。与“Juniper”交谈感觉完全自然、无缝，展示了人工智能如何不断发展以理解实时对话中的情感和细微差别并做出回应。

Krieger 还讨论了最近的 o1 模型，将其称为“一种扩展智力的新方法，我们感觉我们才刚刚开始。”他补充道：“这些模型将加速变得更聪明。 – 

这些预期的进步表明，虽然传统的扩展方法在短期内可能会也可能不会面临回报递减，但人工智能领域有望通过新方法和创造性工程不断取得突破。

缩放比例还重要吗？

虽然扩展挑战主导了当前围绕法学硕士的大部分讨论，但最近的研究表明，当前的模型已经能够取得非凡的成果，这引发了一个具有争议性的问题：更多的扩展是否重要。

一个最近的研究预测ChatGPT 可以帮助医生在遇到复杂的患者病例时做出诊断。该研究使用 GPT-4 的早期版本进行，将 ChatGPT 的诊断能力与有或没有人工智能帮助的医生的诊断能力进行了比较。令人惊讶的结果显示，仅 ChatGPT 就大大优于两组，包括使用人工智能辅助的医生。造成这种情况的原因有很多，从医生对如何最好地使用机器人缺乏了解，到他们相信自己的知识、经验和直觉天生就优越。

这并不是第一个表明机器人比专业人士取得更好结果的研究。VentureBeat 报道今年早些时候的一项研究表明，法学硕士可以进行财务报表分析，其准确性可以与专业分析师相媲美甚至超越。同样使用 GPT-4，另一个目标是预测未来的收益增长。GPT-4 在预测未来盈利方向方面达到了 60% 的准确率，明显高于人类分析师预测的 53% 至 57% 范围。

值得注意的是，这两个示例都基于已经过时的模型。这些结果强调，即使没有新的扩展突破，现有的法学硕士也已经能够在复杂任务上超越专家，挑战关于需要进一步扩展以实现有影响力的结果的假设。 

扩展、技能或两者兼而有之

这些例子表明，目前的法学硕士已经具备很强的能力，但单独扩大规模可能并不是未来创新的唯一途径。但随着更多的扩展成为可能，以及其他有望提高性能的新兴技术，施密特的乐观态度反映了人工智能进步的快速步伐，这表明在短短五年内，模型可以发展成为博学者，无缝地回答多个领域的复杂问题。 

无论是通过扩展、技能还是全新的方法，人工智能的下一个前沿领域承诺不仅会改变技术本身，还会改变它在我们生活中的作用。未来的挑战是确保进展对每个人来说都是负责任的、公平的和有影响力的。

加里·格罗斯曼 (Gary Grossman) 是以下公司的技术实践执行副总裁爱德曼爱德曼人工智能卓越中心的全球领导者。