人工智能与人类智能水平有多接近？

OpenAI 最新的人工智能 (AI) 系统于 9 月发布，并做出了大胆的承诺。聊天机器人 ChatGPT 背后的公司展示了o1— 其最新的大型语言模型 (LLM) 套件 — 具有“新水平的 AI 功能”。总部位于加利福尼亚州旧金山的 OpenAI 声称 o1 的工作方式是更接近一个人的想法与以前的法学硕士相比。

这一发布为几十年来一直在酝酿的争论注入了新的动力：机器需要多长时间才能实现整个认知任务范围人类大脑可以处理哪些任务，包括从一项任务推广到另一项任务、抽象推理、规划和选择世界的哪些方面来调查和学习？

更大的人工智能聊天机器人更容易胡言乱语——而人们并不总是意识到

这样的“通用人工智能”（AGI）可以解决棘手的问题，包括气候变化、流行病以及癌症、阿尔茨海默病和其他疾病的治疗方法。但如此巨大的力量也会带来不确定性，给人类带来风险。“糟糕的事情可能会因为人工智能的滥用或我们失去对它的控制而发生，”加拿大蒙特利尔大学的深度学习研究员 Yoshua Bengio 说。

这法学硕士的革命过去几年的发展引发了人们的猜测：AGI 可能已经非常接近了。但一些研究人员表示，考虑到法学硕士的构建和培训方式，他们不足以独自实现 AGI。“仍然有一些缺失，”本吉奥说。

显而易见的是，有关通用人工智能的问题现在比以往任何时候都更加重要。“在我一生的大部分时间里，我都认为谈论 AGI 的人都是疯子，”坦佩市亚利桑那州立大学的计算机科学家 Subbarao Kambhampati 说道。– 当然，现在每个人都在谈论它。你不能说每个人都是疯子。”

为什么 AGI 争论发生了变化

人工智能研究人员 Ben Goertzel 和 Cassio Pennachin 编辑的一本同名书籍中提到了通用人工智能一词，该词在 2007 年左右进入了时代精神。它的确切含义仍然难以捉摸，但它广泛地指的是具有类人推理和泛化能力的人工智能系统。撇开模糊的定义不谈，在人工智能历史的大部分时间里，很明显我们还没有达到通用人工智能。以 Google DeepMind 创建的人工智能程序 AlphaGo 为例玩棋盘游戏围棋。它在游戏中击败了世界上最好的人类玩家，但它的超人品质很有限，因为这就是它所能做的。

法学硕士的新能力从根本上改变了格局。与人类大脑一样，法学硕士拥有广泛的能力，这使得一些研究人员认真考虑某种形式的 AGI 可能即将到来的想法¹， 或者即使已经在这里。

当你考虑到研究人员仅部分了解法学硕士如何实现这一目标时，这种能力的广度尤其令人震惊。LLM 是一种神经网络，一种机器学习模型，其灵感大致来自于大脑;该网络由分层排列的人工神经元或计算单元组成，具有可调节的参数，表示神经元之间的连接强度。在训练过程中，最强大的 LLM（例如 o1、Claude（由旧金山 Anthropic 构建）和 Google 的 Gemini）依赖于一种称为下一个令牌预测的方法，在该方法中，模型会重复输入以下样本已被分割成称为标记的块的文本。这些标记可以是整个单词或只是一组字符。序列中的最后一个标记被隐藏或“屏蔽”，并要求模型对其进行预测。然后，训练算法将预测与屏蔽标记进行比较，并调整模型的参数，使其下次能够做出更好的预测。

人工智能如何重塑科学和社会

这个过程持续进行——通常使用数十亿个语言片段、科学文本和编程代码——直到模型能够可靠地预测被屏蔽的标记。到这个阶段，模型参数已经捕获了训练数据的统计结构以及其中包含的知识。然后，参数被固定，并且当给出新的查询或“提示”时，模型使用它们来预测新的标记，而这些新的查询或“提示”不一定存在于其训练数据中，这一过程称为推理。

使用一种称为 Transformer 的神经网络架构使法学硕士大大超越了以前的成就。转换器允许模型了解某些标记对其他标记具有特别强烈的影响，即使它们在文本样本中相距很远。这使得法学硕士能够以模仿人类的方式解析语言 - 例如，区分这句话中“银行”一词的两种含义：“当河流 - 银行”洪水淹没了银行的 ATM，导致无法取款。”

事实证明，这种方法在各种环境中都非常成功，包括生成计算机程序来解决用自然语言描述的问题，总结学术文章并回答数学问题。

在此过程中还出现了其他新功能，特别是随着法学硕士规模的扩大，如果法学硕士足够大，AGI 也可能出现。一个例子是思想链（CoT）提示。这包括向法学硕士展示如何将问题分解为更小的步骤来解决它的示例，或者简单地要求法学硕士逐步解决问题。CoT 提示可以引导法学硕士正确回答以前令他们困惑的问题。但这个过程对于小型法学硕士来说效果不太好。

LLM 的局限性

据 OpenAI 称，CoT 提示已融入 o1 的运作中，并成为该模型强大功能的基础。Francois Chollet 是加利福尼亚州山景城谷歌的人工智能研究员，于 11 月离职创办了一家新公司，他认为该模型包含一个 CoT 生成器，可以为用户查询创建大量 CoT 提示，并提供一种选择好的机制。从选择中提示。在训练过程中，o1 不仅要学会预测下一个标记，还要为给定的查询选择最佳的 CoT 提示。CoT 推理的添加解释了为什么，例如，o1-preview – o1 的高级版本 –正确解决了83%的问题据 OpenAI 称，她参加了国际数学奥林匹克竞赛的资格考试，这是一项著名的高中生数学竞赛。相比之下，该公司之前最强大的法学硕士 GPT-4o 的得分仅为 13%。

在人工智能领域，越大越好吗？

Kambhampati 和 Chollet 表示，尽管如此复杂，o1 还是有其局限性，并且并不构成 AGI。例如，在需要规划的任务上，Kambhampati 的团队表明，尽管 o1 在需要多达 16 个规划步骤的任务上表现出色，但当步骤数增加到 20 到 40 之间时，其性能会迅速下降2。肖莱^{看到类似的限制}当他用抽象推理和泛化测试来挑战 o1-preview 时，他设计了这个测试来衡量 AGI 的进展。测试采用视觉谜题的形式。解决这些问题需要查看示例来推断出抽象规则，并使用它来解决类似难题的新实例，而人类相对容易做到这一点。

Chollet 表示，法学硕士无论规模大小，解决问题的能力都有限，这些问题需要重新组合所学知识来解决新任务。“法学硕士无法真正适应新奇事物，因为他们基本上没有能力掌握自己的知识，然后即时对这些知识进行相当复杂的重组，以适应新的环境。”

法学硕士可以提供 AGI 吗？

那么，法学硕士会提供 AGI 吗？对他们有利的一点是，底层 Transformer 架构可以处理和查找除文本之外的其他类型信息（例如图像和音频）中的统计模式，前提是有一种方法可以适当地标记这些数据。在纽约市纽约大学研究机器学习的安德鲁·威尔逊 (Andrew Wilson) 和他的同事们表明，这可能是因为不同类型的数据都有一个共同的特征：此类数据集具有较低的“柯尔莫哥洛夫复杂度”，定义为创建它们所需的最短计算机程序的长度³。研究人员还表明，变压器非常适合学习具有低柯尔莫哥洛夫复杂度的数据模式，并且这种适用性随着模型的大小而增长。Transformer 能够对多种可能性进行建模，从而增加训练算法发现问题的适当解决方案的机会，并且这种“表现力”随着规模的增加而增加。威尔逊说，这些是“我们普遍学习真正需要的一些要素”。尽管 Wilson 认为 AGI 目前还遥不可及，但他表示，法学硕士和其他使用 Transformer 架构的人工智能系统具有一些类似 AGI 行为的关键属性。

人工智能可以回顾科学文献并弄清楚其中的含义吗？

然而也有迹象表明基于变压器的法学硕士也有局限性。首先，用于训练模型的数据即将耗尽。旧金山一家研究人工智能趋势的机构 Epoch AI 的研究人员估计⁴用于培训的现有公开文本数据存量可能会在 2026 年至 2032 年间耗尽。还有迹象表明，随着法学硕士规模的扩大，他们所获得的收益并不像以前那么大，尽管它是不清楚这是否与数据中的新颖性较少有关，因为现在已经使用了太多数据，或者其他原因。后者对法学硕士来说是个坏兆头。

伦敦谷歌 DeepMind 研究副总裁 Raia Hadsell 提出了另一个问题。强大的基于 Transformer 的 LLM 被训练来预测下一个代币，但她认为，这种单一的焦点对于实现 AGI 来说太有限了。她说，构建一次性或批量生成解决方案的模型可以让我们更接近通用人工智能。有助于构建此类模型的算法已经在一些现有的非法学硕士系统中发挥作用，例如 OpenAI 的 DALL-E，它可以根据自然语言的描述生成逼真的、有时是迷幻的图像。但他们缺乏法学硕士广泛的能力。

为我打造一个世界模型

对于发展到通用人工智能需要哪些突破的直觉来自于神经科学家。他们认为，我们的智力是大脑能够构建“世界模型”的结果，该模型代表了我们周围的环境。这可以用来想象不同的行动方案并预测其后果，从而进行计划和推理。它还可用于通过模拟不同的场景，将在一个领域中学到的技能推广到新任务。