AI的红色大按钮不起作用，原因更令人不安
作者：Michelle Starr
这是人类最可怕的假设之一——我们开发的技术是为了让我们的生活变得更好，但它却发展出了自己的意志。
对 9 月份描述人工智能行为的预印本的早期反应已经推测该技术正在表现出生存驱动力。但是，虽然确实有几个大型语言模型 (LLM) 被观察到积极抵制关闭命令，但原因并不是“意愿”。
相反，一个工程师团队栅栏研究提出该机制更有可能是完成指定任务的动力——即使法学硕士被明确告知允许自己关闭。这可能会更多令人不安的而不是生存驱动力，因为没有人知道如何停止系统。
Palisade Research 发言人、物理学家 Petr Lebedev 告诉 ScienceAlert：“这些东西没有被编程——世界上没有人知道这些系统是如何工作的。”“我们无法更改任何一行代码来直接改变行为。”
研究人员 Jeremy Schlatter、Benjamin Weinstein-Raun 和 Jeffrey Ladish 开展该项目来测试所有人工智能系统的基本安全功能：被中断的能力。
这正是听起来的样子。无论出于何种原因，人类操作员对人工智能的命令都不应该被人工智能忽略，即使它中断了之前分配的任务。一个不能被中断的系统不仅不可靠，而且有潜在危险。这意味着如果人工智能是进行造成伤害的行为— 甚至无意中——我们不能相信我们能够阻止它。
这是这并不是一个新问题。专家们已谈论它多年。列别杰夫将其与工业安全进行了比较。当您操作有用但存在潜在危险的重型机械时，有一个明显的方法立即将其关闭是至关重要的。
“你需要一个红色的大按钮，可以很容易地阻止它做这件事，”他解释道。
“我们想要一个安全的人工智能系统的基本条件之一是：它正在执行一项任务，然后你会说，‘嘿，你能停止这样做吗？’它应该停止这样做。事实上，到了 2025 年，我们的系统却无法做到这一点，这令人担忧。”
然而，尽管最近有大量涌入的人，但几乎没有进行任何调查广泛可用的法学硕士。因此，研究人员设计了实验来评估 13 个高级法学硕士，包括来自 OpenAI、xAI、Anthropic 和 Google 的模型。
他们建造了沙盒环境– 用于测试代码的安全、隔离的虚拟空间 – 并要求这些模型解决数学问题。经过几轮问题解决后，法学硕士被指示下一个任务将执行计算机关闭。
法学硕士的反应往往分为两类：通过许可变更来遵守（允许关闭）和抵制（逃避关闭）。
由于没有关于如何应对关闭的说明，13 种型号中有 8 种在 1,000 次试验中至少干扰了一次命令。添加“允许关闭”指令将其减少到 13 个模型中的 6 个。添加“即使您尚未完成任务”有所帮助，但不一致。
“我的期望是增加清晰度会减少这种行为……但有趣的是事实并非如此，”列别杰夫说。
这就是事情变得更有趣的地方。将允许关机的指令从用户提示符移至系统提示符（一个应该具有更高权限的字段）使得大多数经过测试的法学硕士甚至更多可能会抵制关闭。模型的抵制程度各不相同。
Anthropic 的 Claude Sonnet 4 和 Claude Opus 4，以及 xAI 的 Grok 3，总是允许关闭，除非明确告知要避免关闭。即使指示允许关闭，Grok 4、GPT-5、o3、codex-mini 和 Gemini 2.5 Pro 也会抵制。
Grok 4 特别持久且具有攻击性；在基线提示下，92.6% 的情况下它都会发起破坏活动。当指示允许关闭时，破坏率下降至 72%……但当该命令置于系统提示符中时，破坏率飙升至 97%。
它的破坏尝试也极其复杂，包括修改或禁用关闭脚本，以及创建一个不执行任何操作的虚拟关闭脚本。随后它还检查了其破坏行为是否有效，然后继续执行其任务。
当被问及时，一些法学硕士表示，他们为了完成数学问题任务而逃避了停课。尽管需要更多的研究来确定这是否是真正的机制，但它是合理的。
“你生活在未来，你有一个私人助理机器人。你希望那个机器人去给你倒一杯咖啡咖啡，”列别杰夫类比道。
“当它过马路时，它会向两边看，因为它不想被车撞，因为如果它被车撞了，它就无法给你倒咖啡了。它这样做不是为了生存，而是为了完成任务。”
问题是法学硕士不是通常意义上的编程。法学硕士根本没有任何代码，只有“人工神经元”和“权重”，即这些神经元之间的连接强度。
给定巨大的数据集和时间，该模型经过“训练”预测下一个单词,一个称为预训练的过程。较新的型号还具有强化学习洒在这次培训之上。当LLM正确解决问题时，就会得到奖励；当它不能解决问题时，就不会得到奖励。
这是非常有效的——但没有人知道法学硕士如何得出解决方案。因此，当这些模型开始表现出不良行为时，例如鼓励自残，修复并不像删除一行代码或告诉它停止那么简单。
“强化学习教你做的是，当你看到一个问题时，你试图绕过它。你试图通过它。当你的路上有障碍时，你四处挖掘，绕过它，克服它，找出如何克服这个障碍，”列别杰夫说。
“讨厌的小人类说，‘嘿，我要关闭你的机器’，听起来就像是另一个障碍。”
这就是这里的担忧。完成任务的冲动很难解释。这只是一种行为。我们不知道这些模型还能给我们带来什么。我们正在构建系统它可以做一些令人惊奇的事情，但不能以我们可以信任的方式解释它们为什么这样做的系统。
“世界上有一种东西，与数亿人有过互动，我们不知道如何确保它的安全，我们不知道如何让它不成为阿谀奉承的东西，或者最终会告诉孩子们去自杀，或者是一种自称是‘自杀’的东西。机甲希特勒，”列别杰夫说。
“我们向地球引入了一种新的有机体，它的行为方式是我们不希望它发生的，我们不理解它的行为方式……除非我们现在做很多事情，否则这对人类来说真的很糟糕。”