人工智能注定要有他们的时刻

建立人工通用情报的竞赛正在与一个苛刻的现实相撞：大型语言模型可能会被淘汰。

多年来，世界的顶级人工智能技术人才已经花费了数十亿美元开发LLM，这是使用最广泛使用的聊天机器人的基础。

但是，这些AI模型背后的许多公司的最终目标是开发Agi，仍然是像人类这样的AI的理论版本。越来越担心LLM可能是靠近他们的高原，远非能够发展成为AGI的技术。

长期以来一直认为这种信念的人工智能思想家曾经被注销为愤世嫉俗的人。但是自从 发行Openai的GPT-5，尽管有所改善，但并没有辜负Openai自己的炒作，但末日的末日说：“我告诉过你。”

他们中的校长也许是加里·马库斯（Gary Marcus），AI领导者和最畅销的作家。自GPT-5发行以来，他将批评提高到了新的高度。

他在本月早些时候的博客文章中写道：“没有任何具有智力诚信的人仍然应该相信纯净的扩展会使我们进入AGI。”“即使是一些技术兄弟也正在唤醒现实，即'Agi在2027年'是营销，而不是现实。”

这就是为什么有些人认为LLM并不是他们所做的一切，而AI研究人员认为是AGI更好的途径。

AI泡沫

Openai现在是地球上最有价值的创业公司。它已经筹集了约600亿美元，而讨论的二级股票销售可能会推动公司的估值超过5000亿美元。那会做到Openai最有价值的私人公司在世界上。

有充分的兴奋的理由。据该公司称，Chatgpt每周有7亿个用户，Openai的产品在很大程度上设定了AI竞赛的步伐。

但是，有几个问题。首先，也许对于投资者而言，也许最重要的是 Openai不盈利并且很少有很快获得盈利的迹象。其次，该公司的创立使命是以一种受益于所有人类的方式发展AGI，但是这种改变世界的技术越来越多地支持了大部分的技术AI周围的炒作，比许多工程师和投资者最初认为的要远。

其他公司也一直在骑这种炒作。Google，Meta，XAI和Anthropic都吸引了数十亿美元缩放他们的LLM，这意味着要抢购人才，购买数据并建立大量数据中心。

支出与收入之间的不匹配，炒作与现实之间的不匹配引起了警报，即AI行业是爆发的泡沫。Openai首席执行官山姆·奥特曼（Sam Altman）他自己这么认为。

他在本月早些时候对记者说：“我们是否正处于整个投资者对AI的过度激发的阶段？我的看法是肯定的。AI是在很长一段时间内发生的最重要的事情吗？我的看法也是是的。”

而其他技术领导者，例如以前 Google首席执行官埃里克·施密特（Eric Sc​​hmidt），不太确定，1万亿美元 股市技术抛售上周表明这些担忧是普遍的。美联储主席杰罗姆·鲍威尔（Jerome Powell）表示他是考虑削减税率9月。

现在，每个人都热切期待星期三的 NVIDIA的收入报告，这使Chips为LLM提供动力，并且是AI Rush的采摘公司。如果公司的收入显示出放缓及其前景的迹象更加谨慎，那么将会有一个全新的担忧，而AI Doomers将再次提醒所有人他们多年来一直在说的话：LLMS并不是这样。

LLM的问题

6月，苹果研究人员发表了一篇名为“思想幻想”的论文。他们发现的听起来很积极：面对更复杂的任务时，先进的推理模型就会放弃。

然而，他们的结论是，这些模型依赖于模式识别而不是逻辑思维，研究人员警告说，他们可能会导致AGI。研究人员写道：“声称缩放当前的体系结构自然会产生一般智力似乎为时过早。”

该论文在网上被广泛嘲笑，主要是因为苹果公司的规模和大量资源是落后于在AI比赛中。但是，对于怀疑论者来说，它正在验证。

哥伦比亚大学统计与政治学教授安德鲁·盖尔曼（Andrew Gelman）认为，LLMS所示的文本理解水平没有期望。LLM与人类所做的事情相比，盖尔曼在2023年的博客文章中写道，“慢跑和跑步”之间的区别。

他写道：“我可以慢跑，慢跑，思考各种各样的事情，也不会感觉自己要花费很多努力，我的腿几乎是自己的努力，但是如果我需要跑步，那需要集中精力。”

杰弗里·欣顿（Geoffrey Hinton），诺贝尔奖获得者被称为AI的教父，不同意。他在2013年对《纽约客》说：“通过训练一些真正擅长预测下一个单词的东西，您实际上是在强迫它理解。”

LLM的另一个潜在问题是他们倾向于误解单词，幻觉和传播错误信息的含义。这个现实就是为什么现在大多数采用AI的公司需要混合的人。

在今年早些时候发布的一份报告中，一组德国的学术研究人员专门研究了调查的计算语言学，这些计算语言学对30种语言的11 llms进行了调查的“现场”幻觉率。他们发现，所有语言的平均幻觉率在7％至12％之间变化。

近年来，像OpenAI这样的领先AI公司的运营经营，认为这些问题可以通过为LLMS提供更多信息来减轻这些问题。Openai研究人员在2020年论文中概述了所谓的缩放法则，指出“模型性能最大程度取决于规模”。

但是，最近，研究人员开始质疑 LLM撞墙并且随着时间的扩展而面临的回报降低。 Yann LecunMeta的首席AI科学家负责公司的超级智能部门的实验室，主要集中在下一代AI方法上而不是LLMS上。

他在四月份在新加坡国立大学说：“最有趣的问题非常糟糕。”“您不能仅仅假设更多的数据和更多的计算意味着更聪明的AI。”苹果的分析还发现，当前基于LLM的推理模型由于“模型如何保持问题量表算法一致性的基本限制”而不一致。

亚历山大·王（Alexandr Wang）Meta的超级智能部门，似乎同样不确定。他说，去年大脑谷会议上的扩展是“行业中最大的问题”。

即使扩展有效，访问高质量数据也受到限制。

寻找独特的数据是如此猛烈，以至于领导AI公司正在推动界限有时有侵犯版权的风险。Meta曾经考虑将发布者Simon＆Schuster作为解决方案。在培训克劳德（Claude）的同时，人类收集并扫描了数百万个盗版书籍。

最终，一些领先的AI研究人员说语言本身是限制因素，这就是为什么LLM不是通往AGI的道路的原因。

“语言在自然界中不存在，”Fei fei li斯坦福教授以发明Imagenet而闻名，他在6月的Andreessen Horowitz的播客中说。她说：“人类不仅生存，生活和工作，而且我们建立了语言以外的文明。”

Lecun的抓地力相似。

他在四月份的谈话中说：“我们需要可以非常快速学习新任务的AI系统。他们需要了解物理世界，不仅是文本和语言，而且是现实世界，具有一定程度的常识，并且能够推理和计划的能力，并且具有持久的记忆 - 我们对智能实体的所有期望。”

新方法

Li和Lecun等研究人员正在寻求一种称为世界模型的LLM的替代方法，他们认为这是通往AGI的更好途径。

与基于单词和短语之间的统计关系确定输出的大型语言模型不同，世界模型通过对周围的世界进行模拟和学习来做出预测。这些模型感觉更像人类的学习方式，而LLMS依靠人类无法访问的大量数据。

计算机科学家兼麻省理工学院教授杰伊·赖特·福雷斯特（Jay Wright Forrester）在1971年的论文中概述了这种模型的价值。

他写道：“我们每个人都在不断使用模型。私人生活和业务中的每个人本能地使用模型进行决策。关于周围环境的头脑中的心理图像都是模型。”“所有决定都是根据模型做出的。所有法律均根据模型通过。所有执行行动均以模型为基础。”

最近的研究发现，世界模型不仅可以捕捉现实，还可以模拟新的环境和场景。

在2018年的论文中，研究人员David Ha和Jurgen Schmidhuber建立了一个灵感来自人类认知系统的简单世界模型。这不仅用于模拟假设的情况，而且还用于训练代理。

作者写道：“现实世界中的培训代理人更加昂贵。”“因此，经过逐步训练以模拟现实的世界模型可能被证明对将政策转移回现实世界很有用。”

8月，Google的DeepMind发布了Genie 3，该世界模式“突破了世界模型可以完成的界限”。它可以建模现实世界的物理特性，例如火山地形或昏暗的海洋。这可以允许AI根据其从这些现实世界模拟中学到的知识做出预测。

作品中也有其他想法。神经科学模型试图模仿大脑的过程。多代理模型基于以下理论：多个AIS相互作用是与人类在现实生活中的运作更好的类比。追求多代理模型的研究人员认为，AGI更有可能通过这种社会交流来出现。

然后，有体现的AI，它使世界模型适应物理形式，使机器人可以对周围的世界进行解释和训练。李在6月的《无先生播客》上说：“机器人采用各种形式和形状。”

这些替代方案，特别是世界模型的潜力，也使人们希望获得LLM的主要授权者Marcus。他将世界模式称为认知模型，并敦促AI公司与LLMS枢纽，并专注于这些替代方案。

马库斯在6月的博客文章中说：“在某些方面，LLM远远超过了人类，但在其他方面，它们仍然与蚂蚁不匹配。”“没有世界上强大的认知模型，就永远不应完全信任他们。”