快速进步人工智能（AI）正在促使人们质疑该技术的基本限制。越来越多的话题曾经委托科幻小说。
机器可能有一天比赛甚至超过人类智能的想法具有悠久的历史。但是，最近几十年来，AI的进步速度使该主题的紧迫性更新了，特别是因为OpenAI，Google和Anthropic等公司发布了强大的大型语言模型（LLMS）。
专家对这种“人工超级智能”（ASI）的可行性以及何时出现的可行性有很大的不同，但是有些人暗示这种超能力的机器就在拐角处。可以肯定的是，如果以及何时出现ASI，它将对人类的未来产生巨大影响。
“我相信我们将进入一个自动化科学发现的新时代，经济增长，长寿和新颖的娱乐经验，大大加速了，”蒂姆·罗克特（TimRocktâschel），伦敦大学学院AI教授以及Google Deepmind的首席科学家告诉Live Science，提供了个人意见，而不是Google DeepMind的官方职位。但是，他还警告说：“与历史上的任何重要技术一样，存在潜在的风险。”
什么是人工超级智能（ASI）？
传统上，AI研究的重点是复制智能生物所表现出的特定功能。其中包括诸如视觉分析场景，解析语言或导航环境的能力之类的东西。Rocktâschel说，在这些狭窄的域中，AI已经取得了超人的表现，最著名的是 诸如Go and Chess之类的游戏。
然而，该领域的伸展目标一直是复制在结合许多这样能力的动物和人类中看到的更一般的智力形式。多年来，这个概念已经以几个名字传播了人工通用情报（AGI）。
Rocktâschel说：“很长一段时间以来，Agi一直是AI研究的遥远北极星。”“但是，随着基础模型的出现（LLMS的另一个术语），我们现在拥有可以通过广泛的大学入学考试并参加国际数学和编码比赛的AI。”
有关的：科学家说，GPT-4.5是第一个通过真实的图灵测试的AI模型。
Rocktâschel说，这使人们更加重视Agi的可能性。至关重要的是，一旦我们创建了与人类在各种任务上匹配的AI后，可能不久之后它可以全面实现超人的能力。无论如何，这就是想法。Rocktãäschel说：“一旦AI达到了人类水平的能力，我们将能够以自指的方式来改善自己。”“我个人认为，如果我们能够达到AGI，我们将不久，也许在此之后几年到达ASI。”
一旦达到了这个里程碑，我们就可以看到英国数学家欧文·约翰·古德被称为“情报爆炸“在1965年。他认为，一旦机器变得足够聪明以改善自己，他们就会迅速达到智力水平，远远超出了任何人类。他将第一台超智能机器描述为“人类有史以来的最后发明”。
著名的未来主义者雷·库尔兹维尔（Ray Kurzweil）曾认为，这将导致“技术奇异性”突然，不可逆转地改变人类文明。该术语与黑洞中心的奇异性相似，我们对物理学的理解分解了。同样，ASI的出现将导致快速且不可预测的技术增长，这将无法理解。
确切地说，这种过渡可能发生时是有争议的。2005年，库兹维尔（Kurzweil）预测，阿吉（Agi）将于2029年出现，随后是2045年的奇异性，此后他坚持不懈。其他AI专家从这十年内到绝不。但是 最近的调查在2,778名AI研究人员中，他们发现，在总体上，他们认为到2047年可能会出现50％的ASI。更广泛的分析同意大多数科学家都同意AGI可能到2040年到达。
ASI对人类意味着什么？
像ASI这样的技术的含义将是巨大的，促使科学家和哲学家专门花费大量时间来绘制人类的承诺和潜在陷阱。
从积极的一面来看，一台几乎无限能力的智力能力的机器可以解决世界上最紧迫的挑战。丹尼尔·赫尔姆（Daniel Hulme），AI公司的首席执行官 Satalia和 助理。特别是，超级智能机器可以“从粮食，教育，医疗保健，能源，运输的创造和传播中消除摩擦，以至于我们可以将这些商品的成本降低到零，”他告诉Live Science。
Hulme解释说，希望这将使人们不必工作才能生存，而可以花时间做自己热衷的事情。但是，除非建立系统来支持AI裁员的工作的人，否则结果可能会很沮丧。他说：“如果这种情况很快发生，我们的经济可能无法重新平衡，这可能会导致社会动荡。”
这也假设我们可以控制和指导一个比我们更聪明的实体 - 许多专家建议的不太可能。赫尔姆说：“我并不是真正地赞成这个想法，即它将关注我们并照顾我们并确保我们感到高兴。”“我只是无法想象它会在乎。”
我们无法控制的超级智能的可能性促使人们担心AI会呈现对我们物种的存在风险。这已成为科幻小说中的流行曲目，其中电影《终结者》或《矩阵》等电影描绘了对人类破坏的地狱般的恶意机器。
但是哲学家尼克·博斯特罗姆（Nick Bostrom）强调，对于各种世界末日场景，ASI甚至不必积极敌对人类。在 2012年论文，他建议一个实体的智能独立于其目标，因此ASI可以具有对我们完全陌生而不与人类福祉保持一致的动机。
Bostrom通过一个思想实验充实了这个想法，在该实验中，超级能力的AI设定了产生尽可能多的纸片的看似无害的任务。如果与人类价值观不符，它可能会决定消除所有人类以防止其关闭，或者可以将其体内的所有原子转变为更多的纸卷。
Rocktâschel更加乐观。他说：“我们构建了当前的AI系统，以提供帮助，但也可以通过设计来实现无害和诚实的助手。”“他们被调整为遵循人类的指示，并接受反馈培训，以提供有益，无害和诚实的答案。”
虽然Rocktâschel承认可以避免这些保障措施，但他有信心将来我们会开发更好的方法。他还认为，即使它们更强，也可以使用AI来监督其他AI。
赫尔姆说，当前大多数“模型对齐方式”的方法是为了确保AI与人类价值观和欲望保持一致的努力太粗糙了。通常，它们要么为模型应如何行为的规则或以人类行为的例子进行训练。但是他认为，在训练过程结束时螺栓固定的这些护栏很容易被ASI绕开。
相反，赫尔姆认为我们必须以“道德本能”建立AI。他的公司助理试图通过在虚拟环境中发展为奖励合作和利他主义等行为的虚拟环境中的AI来做到这一点。目前，他们正在使用非常简单的“昆虫水平” AI工作，但是如果可以扩大方法，则可以使对齐变得更加稳健。赫尔姆说：“将道德嵌入AI的本能使我们处于更安全的位置，而不是只拥有这种摩尔的后卫导轨。”
不过，并非每个人都相信我们需要开始担心。Rocktâschel说，对ASI概念的一种普遍批评是，我们没有人类在各种任务中都有能力高度能力的例子，因此也可能在单个模型中实现这一目标。另一个反对意见是，实现ASI所需的庞大计算资源可能会令人难以置信。
更重要的是，我们如何衡量AI的进度可能会误导我们对超级智能的距离。 亚历山大·伊利克（Alexander Ilic），瑞士Eth Zurich的Eth AI中心负责人。Ilic说，近年来，AI中的大多数令人印象深刻的结果都来自对几项高度人为的个人技能测试，例如编码，推理或语言理解的测试，这些测试已明确培训了这些系统。
他将其与在学校的考试中挤满了比较。他说：“你忙着大脑去做，然后写了测试，然后忘记了一切。”“参加课程，您更聪明，但是实际的测试本身并不是实际知识的良好代理。”
Ilic说，能够通过超人水平通过许多这些测试的人工智能可能只有几年的路程。但是他认为，当今的主要方法不会导致可以在物理世界中执行有用任务或与人类合作的模型，这对于他们在现实世界中产生广泛影响至关重要。