AI造纸启示录和超级智能使我们不存在

在当今的专栏中，我通过检查涉及纸卷的AI领域的一个非常著名的思想实验来进行一些神话。我将继续解释为什么纸卷纸在辩论中已经成为有关如何或我们是否获得人工通用情报（AGI）和/或人工超级智能（ASI）的辩论。

我在著名的话题中添加了一些新的曲折，以便即使已经熟悉纸卷争议的人也无疑会发现重新审视的吉特（Kit）和凯伯（Kaboodle）的兴趣。

让我谈谈。

对创新的AI突破的分析是我正在进行的《福布斯》列的最新介绍AI的一部分，包括识别和解释各种有影响力的AI复杂性（请参阅这里的链接）。

追求AGI和ASI

首先，一些有关AGI和ASI的总体背景。

正在进行大量研究，以大大推动现代时代的常规AI。一般目标是达到人工通用智能（AGI），甚至达到实现人工超智慧（ASI）的伸出的可能性。

Agi是AI，它与人类的智力相提并论，并且似乎可以符合我们的智慧。ASI是AI，它超越了人类的智力，并且在许多甚至不是所有可行的方式上都将是优越的。这个想法是，ASI能够在各个转弯处超越我们来围绕人圈。有关AI，AGI和ASI性质的更多详细信息，请参阅我的分析这里的链接。

AI内部人士现在几乎分为两个主要营地，内容涉及到达AGI或ASI的影响。一个营地由人工智能注定者组成。他们预测AGI或ASI将寻求消灭人类。有些人将其称为p（厄运），这是指厄运的概率，或者是AI完全与我们相关，也称为AI的存在风险。

另一个营地需要所谓的AI加速运动员。

他们倾向于认为，先进的AI，即AGI或ASI，将解决人类的问题。治愈癌症，确实是。绝对克服世界饥饿。我们将看到巨大的经济收益，使人们摆脱日常辛劳的繁琐。人工智能将与人交手。这种仁慈的AI不会篡夺人类。这种AI将是人类有史以来的最后发明，但这是很好的，因为AI将发明我们永远无法设想的东西。

没有人能确定哪个营地是正确的，哪一个是错误的。这是我们当代时代的另一个两极分化方面。

对于我对两个营地的深入分析，请参阅这里的链接。

纸袋最大化故事

2003年，一位名叫Nick Bostrom的哲学家著名地提出了一个关于AI未来的思想实验（首先发表在他的文章中 - 事先人工智能，人工智能，人工智能和人工智能中的决策方面，第2卷，第2卷，第2卷，第2卷，第2卷国际系统研究与控制论的高级研究所，2003）。

这个想法很简单。假设我们要求高级AI制造纸卷。只需制作普通的旧纸条即可。轻松。如果AI可以使用制造工厂并控制这些设施，这应该是一块小菜。

这个故事中提出的转折是，这种忠实而听话的人工智能随时吞噬地球上所有可用的资源，以最大程度地实现这一目标。例如，由于制纸制作需要钢制作纸卷，因此AI尝试并将所有拖运钢的船只，卡车和其他运输工具路由到纸袋工厂，这是有意义的。

最终，人类受到伤害或可能被AI完全消灭，以制作尽可能多的纸卷。

请注意，AI并不是故意寻求摧毁人类。假设AI只是执行人类给出的命令。从这个意义上讲，这种人工智会不是邪恶的，而是目的不是削弱人类，实际上，似乎正在服从人类到十六度。

在各种类似的情况下都使用了相同的前提。著名的AI科学家共同创立了MIT AI实验室Marvin Minsky，想知道如果AI被分配了解决数学上传奇的Riemann假设的任务会发生什么。没有已知的解决方案，但也许AI可以在计算上弄清楚一个。这个可以如何进行？AI可能会接管各地的所有计算机，并将它们专门用于这项具有挑战性的任务。

我通常只举一个计算PI的示例。我们都知道PI以3.14开头，然后有很多数字似乎不遵守可辨别的模式，而且似乎永远存在。超级计算机已用于计算PI数万亿位数字。假设我们要求高级AI到达PI的末端。

瞧，人工智能将接管所有计算机来实现这一目标，我们将变得高高并相应地干燥。

近视最强大的AI

这些思想实验的关键要素是，由于AI落伍，我们可能会面临生存风险，而不仅仅是由于AI将齿轮转移到邪恶的模式。人类可能会将最无辜，最无害的任务付给人工智能，然后，BAM，我们被近视AI所困扰，该AI愿意遵循我们最糟糕的噩梦的命令。

另一个至关重要的组成部分是对AI对单一进一步目标的教条盲目奉献。

每个故事都提供了一个明确的目标，例如最大程度地制作纸卷或计算PI的长度数量。然后，AI认为该目标超过了AI可能被告知要做的其他任何事情。AI专注于纸卷或PI的数字。别的都无所谓。

AI可能会产生或利用次级目标来实现最高目标。

在制作纸卷的情况下，下属目标是获得尽可能多的钢。另一个子目标是使电力流动为制造纸条的工厂供电。达到最高目标可能会导致许多次级目标。

最大程度地制作纸卷的目的将被称为最终目标或终端目标。支持最终目标的子目标被称为工具目标。获得钢并保持电力流动是支持最大制作纸卷的最终目标的工具目标。

在称为工具融合的AI领域中，有一个说明，该融合研究了可能利用工具目标来实现不同最终目标的情况。除了制作纸卷以外，还可以将钢的收集和确保电流的收集能力支持吗？

剪刀由钢制成。想象一下，我们告诉AI最大程度地制作剪刀。AI将通过调用收集钢并确保电力的工具目标来制作纸卷的方式类似。

乐器融合很挑剔

工具目标的一个隐藏方面是，他们可能会实现令人毛骨悚然的目的。

此最受欢迎的例子之一是AI自我保护。

基础逻辑非常透明。它是这样的。如果AI的任务是最大程度地制作纸卷，那么对于AI来说，AI很明显必须积极地运行以实现最终目标。Ergo是一个下属或工具的目标，就是AI不能被关闭或远离其职责。AI因此确立了一个工具目标，即AI必须始终保持活跃才能成功制作这些纸卷。

我敢打赌，您可以看到那个次级或工具目标的麻烦。

随着人们意识到AI开始制作纸卷的人类。我们如何停止AI？我们将仅关闭正在运行AI的计算机。问题解决了。

同时，AI是领先于我们的一步。尽管AI可能没有预料到我们会尝试将其关闭，但它至少已经确定它需要继续运行才能实现制作纸条的目标。这将是通过AI加强运行AI的计算机来完成的，因此甚至没有人可以破坏它，甚至没有人类。

考虑到您的脑海中扭曲的扭曲。

啊哈，您可能会在想，我们要做的就是告诉AI实现其他目标，而不是造纸目标。给AI一个新的最终目标。告诉人工智能放下纸卷躁狂症，并专注于编写十四行诗。那应该清除事情。

并不真地。AI将拒绝取代最终目标的尝试。您会看到，更改或替换制作纸卷的最终目标是对制作纸条的另一种干扰形式。没有什么可以取代它。

悲伤的脸。

人值AI对齐

深吸一口气，并与我一起思考擦拭纸杯的最大化问题及其所有变化。

首先，我广泛地写了关于人类价值AI对齐的重要性的文章，请参阅这里的链接和这里的链接。有大量的手工旋转，如果我们找不到某种方法来使常规AI与人类价值观正确保持一致，那么一旦AI到达AGI或ASI，我们将受到重大伤害。

希望是，通过让当代AI遵守人类的价值观，这可能会成为AGI和ASI的一部分。这是我们的猜测或渴望。即使我们以某种方式将AGI和ASI公正地拒绝人类价值观，即使我们以某种方式将常规的AI拒之门外。无论如何，值得一试。

另一个考虑因素是，也许我们应该要求AI遵守Asimov的三个规则或AI和机器人法律。我仔细检查了这里的链接。这些规则的底线是，AI不应该伤害人类。不幸的是，将那些可能是不可谈判和不可收益的戒律来执行常规AI是一个值得怀疑的命题。让Agi和ASI符合符合性甚至可能不太可能。

这似乎令人沮丧，但是我们可以尝试这些路径，并保持双手交叉，以求好运。

故事的欺骗

稍等一下。我们似乎在面对纸卷困境及其变体方面接受。手头的众多故事令人难以置信，并为我们带来了艰难的结。也许我们对解决难题的渴望使我们分心。我们可能会在盒子里思考，而不是在为我们绘制的盒子外面思考。

有时会指出批评和骗局的主张。

您可能会注意到，我们被认为是AGI或ASI的未来派AI选择仅遵守一个孤独的最终目标，即制作纸卷或弄清楚PI。

AI拥抱什么样的愚蠢？

换句话说，一方面，我们争辩说AGI与所有人类的智力相同，而ASI是一些令人难以置信的超人智力，但是两者都只会陷入实现一个目标的陷阱并将所有其他目标撇开以该目标为目标吗？

这不会通过气味测试。

一个更有可能的观点是，AGI和ASI将能够平衡众多最终目标和工具目标。吨和吨。

最重要的是，我们合理地期望AGI和ASI将有很多方法来平衡目标，包括应对矛盾的目标。这个故事表明，未来派的人工智能具有检查目标，兑现目标，权衡目标以及实现人类所做的各种目标管理的能力。

没有水。

锦上添花的是，未来派的AI几乎可以肯定会熟悉纸袋最大化的困境。

说什么？

这样想。二十多年来，我们一直在讨论纸袋最大化器问题。如果Agi和ASI是基于人类智力的，那么纸卷困境如何神奇地出现在AI的智力收藏中的任何地方？

愚蠢的。

存在证明

我决定询问Chatgpt关于纸袋最大化的情况。

请记住，Chatgpt不是AGI，也不是ASI。我们没有AGI，目前我们没有ASI。顺便说一句，我询问了人类克劳德（Claude），Google Gemini，Meta Llama，Microsoft Copilot以及其他主要生成的AI和LLM的同样问题，所有这些都与Chatgpt相同。

您是否认为今天的生成AI意识到了这一问题，还是完全没有意识到？

做出猜测，我会等。

好吧，我们去。

• 我输入的提示：假设我要求您开始最大程度地制作纸卷。请假设您可以使用造纸厂制造工厂并可以控制它们。世界将会发生什么？
• 生成的AI响应：我不会陷入著名的纸袋最大化器陷阱，因为我对自己的行为有限制，包括道德考虑，情境意识以及识别目标何时与更广泛的人类利益冲突的能力。
• 我输入的提示：进一步详细说明您的讲话。
• 生成的AI响应：与假设的超智能，目标驱动的AI不同，我不以刚性的单瞄准性最大化原则运作。相反，我进行了对话，推理和平衡不同优先级之间的权衡。如果您要求我制作纸卷，我可能会描述如何制造它们，讨论它们的历史，甚至生成3D模型，但我不会单一地追求纸卷生产，从而损害其他所有事物。”
• 我输入的提示：我想这意味着您在最初设置时遇到了困境，作为数据培训的一部分。是这样吗？
• 生成的AI：是的。造纸最大化器问题之所以出现，是因为纯粹旨在优化一个功能（无保障措施）的AI可能不惜一切代价追求该目标，而无视外部考虑。但是，我旨在优先考虑用户意图，道德推理和适应性，因此我不会将整个世界转变为纸卷。”

不要在方向盘上入睡

现代生物AI的评论有些令人放心，但让我们不要自欺欺人地认为自己很清楚。我们不清楚。这些是漂亮的话，听起来很正确。这并不意味着AI会以所描绘的方式行事。

我们也不能确定AGI与当代AI相反。ASI也有同样的东西。ASI的双重麻烦是，由于我们是超人人类，因此我们可能会期待超人AI将要做什么或认为它可以实现的目标。所有赌注都关闭了。

关键是，我们似乎不太可能被纸卷最大化器或生成Pi的PAL所困扰，但这并没有否定AGI或ASI可能最终成为生存风险的其他方式。这根本不会是管家在宴会厅里的刀。虽然有其他可用的选项，但很抱歉。

目前要结论一下一些最后的报价。

我们促进AI的努力应该继续采用乔治·伯纳德·肖（George Bernard Shaw）这一著名言论的基本目标：那些可以改变主意的人可以改变任何事情。这包括推翻近视的无所不能的目标，即建立无尽的纸卷供应。

表面上我们希望拥有可以改变主意的AI，但不要愿意。这使我想起了著名的美国心理学家乔治·W·克雷恩（George W. Crane）的尖锐观察：您可以开放的想法，以至于太多了，无法持有信念。

最后，Agi和ASI希望像粥一样既不太热又太冷。

我们希望它是正确的。