2014年，英国哲学家尼克·博斯特罗姆（Nick Bostrom）出版了一本关于人工智能（AI）未来的书，书名不祥。超级智能：路径、危险、策略。事实证明，它对推动先进人工智能系统——比人类更有能力——超级智能——有一天可能会接管世界并毁灭人类这一想法具有很大影响力。
十年后，OpenAI 老板 Sam Altman 表示超级智能可能只是——几千天— 离开。一年前，Altman 的 OpenAI 联合创始人 Ilya Sutskever 在公司内部成立了一个团队，专注于 —安全超级智能— 但他和他的团队现在已经筹集了 10 亿美元来创建自己的初创公司去追求这个目标。
他们到底在说什么？从广义上讲，超级智能是任何比人类更聪明的东西。但在实践中解读这可能意味着什么可能会有点棘手。
不同种类的人工智能
在我看来，最有用的思考方式人工智能中不同级别和类型的智能由美国计算机科学家 Meredith Ringel Morris 和她在 Google 的同事开发。
他们的框架列出了人工智能性能的六个级别：无人工智能、新兴、有能力、专家、大师和超人。它还对可以执行小范围任务的狭义系统和更通用的系统进行了重要区分。
一个狭隘的、无人工智能的系统就像一个计算器。它根据一组明确编程的规则执行各种数学任务。
已经有很多非常成功的狭义人工智能系统。莫里斯给出了深蓝国际象棋程序早在 1997 年，它就击败了世界冠军加里·卡斯帕罗夫 (Garry Kasparov)，成为了大师级狭义人工智能系统的一个例子。
一些狭窄的系统甚至具有超人的能力。一个例子是阿尔法折叠，它使用机器学习来预测蛋白质分子的结构，其创造者荣获诺贝尔化学奖今年。
那么通用系统呢？该软件可以处理更广泛的任务，包括学习新技能等。
一般的非人工智能系统可能是这样的亚马逊的机械土耳其人：它可以做很多事情，但它是通过询问真实的人来实现的。
总体而言，通用人工智能系统远不如它们的狭义同类先进。Morris 表示，ChatGPT 等聊天机器人背后最先进的语言模型是通用人工智能，但迄今为止它们还处于“新兴”水平（这意味着它们“等于或在某种程度上”）比没有技能的人更好”），但尚未达到“有能力”（相当于 50% 有技能的成年人）。
所以以此推算，我们距离一般的超级智能还有一段距离。
AI现在有多智能？
正如莫里斯指出的那样，精确确定任何给定系统的位置取决于可靠的测试或基准。
根据我们的基准，图像生成系统，例如达尔-E可能处于大师水平（因为它可以产生 99％ 的人类无法绘制或绘画的图像），或者它可能正在出现（因为它会产生人类不会出现的错误，例如变异的手和不可能的物体）。
甚至对于当前系统的功能也存在很大的争论。2023 年一篇著名论文争论GPT-4 展示了“通用人工智能的火花”。
OpenAI 表示其最新的语言模型，奥1，可以“执行复杂的推理”，并且在许多基准上“可以与人类专家的表现相媲美”。
然而，苹果研究人员最近发表的一篇论文发现 o1 和许多其他语言模型在解决真正的数学推理问题时遇到很大困难。他们的实验表明，这些模型的输出似乎类似于复杂的模式匹配，而不是真正的高级推理。这表明超级智能并不像许多人所认为的那样迫在眉睫。
AI会变得越来越聪明吗？
一些人认为过去几年人工智能的快速进步将会持续甚至加速。科技公司正在投资数千亿美元人工智能硬件和功能，所以这似乎不是不可能的。
如果这种情况发生，我们确实可能会在萨姆·奥尔特曼提出的“几千天内”看到通用超级智能（用不太科幻的术语来说，就是十年左右）。Sutskever 和他的团队在他们的论文中提到了类似的时间范围超对齐文章。
人工智能领域最近的许多成功都来自于一种名为“深度学习”的技术的应用，简单来说，该技术可以在巨大的数据集合中找到关联模式。的确，今年的诺贝尔物理学奖已被授予约翰·霍普菲尔德 (John Hopfield) 以及“人工智能教父– Geoffrey Hinton，发明了 Hopfield 网络和玻尔兹曼机，它们是当今使用的许多强大的深度学习模型的基础。
ChatGPT 等通用系统依赖于人类生成的数据，其中大部分以书籍和网站文本的形式存在。他们能力的提高很大程度上来自于系统规模的扩大和训练数据量的增加。
然而，有人类生成的数据可能不够进一步推进这一过程（尽管更有效地使用数据、生成合成数据以及改善不同领域之间的技能转移的努力可能会带来改进）。一些研究人员表示，即使有足够的数据，ChatGPT 等语言模型也无法实现。根本上没有能力达到莫里斯所说的一般能力。
最近的一篇论文提出超级智能的一个基本特征是开放性，至少从人类的角度来看。它需要能够持续生成人类观察者认为新颖且能够学习的输出。
现有的基础模型并不是以开放式的方式进行训练，并且现有的开放式系统非常狭窄。本文还强调了仅靠新颖性或易学性是不够的。实现超级智能需要一种新型的开放式基础模型。
有哪些风险？
那么这一切对于人工智能的风险意味着什么呢？至少在短期内，我们不需要担心超级智能人工智能会统治世界。
但这并不是说人工智能不会带来风险。莫里斯和他的同事再次思考了这一点：随着人工智能系统获得强大的能力，它们也可能获得更大的自主权。不同级别的能力和自主权会带来不同的风险。
例如，当人工智能系统几乎没有自主权并且人们将它们用作顾问时——例如，当我们要求 ChatGPT 总结文档，或者让 YouTube 算法塑造我们的观看习惯时——我们可能会面临过度使用的风险。-信任或过度依赖他们。
与此同时，莫里斯指出，随着人工智能系统变得更加强大，需要警惕其他风险，从人们与人工智能系统形成准社会关系到大规模工作流失和全社会的倦怠。
接下来是什么？
假设有一天我们真的拥有超级智能、完全自主的人工智能代理。那么我们是否会面临他们集中权力或违背人类利益的风险？
未必。自主和控制可以齐头并进。系统可以高度自动化，同时提供高水平的人工控制。
像人工智能研究界的许多人一样，我相信安全超级智能是可行的。然而，构建它将是一项复杂的多学科任务，研究人员必须走不败之路才能实现这一目标。