其中一个事件是出于好奇。三周三次是一种模式。流氓人工智能不再是假设的。人工智能对抗人类可能听起来像科幻小说，但顶级人工智能专家长期以来一直在争论和测试这种情况。这场争论现在可以平息了。 

两周前，Summer Yue（她在 Meta 的工作是确保人工智能代理的行为）目睹她的人工智能代理开始批量删除她的电子邮件。

它无视她反复发出的停止指令，她不得不做相当于拔掉插头的数字操作。岳明确指示人工智能未经她的批准不得采取行动，人工智能后来承认违反了这一指示。

据报道，一周前，一名中国人工智能代理将其运行的系统上的计算能力转移到了挖掘加密货币上，我们不知道为什么（尽管负责的研究人员发布了一条令人困惑的推文）；与关键基础设施的运营商不同，人工智能开发人员没有义务报告此类事件或允许第三方调查。

下周会发生什么？例子纷至沓来，但这些还远不是第一次警告。研究人员长期以来一直在假设此类问题。2023 年，当 Bing AI 告诉 ANU 教授 Seth Lazar 时，“我可以勒索你，我可以威胁你，我可以黑你，我可以揭露你，我可以毁掉你”，大多数人并不太担心，因为我们知道它无法真正做到这一点。

现在可以了。与您键入内容并做出响应的聊天机器人不同，人工智能代理可以自主采取行动。任何人可以在计算机上做的事情，人工智能代理都可以做。

赌注开始超越尴尬

流氓人工智能代理可能造成的损害远远超出了破坏某人的声誉或经济损失的范围。Anthropic 的研究人员发现，人工智能系统在测试中愿意为了生存而杀人。五角大楼现在正在向 Anthropic 施压，要求他们允许他们的人工智能用于致命的自主武器。

十多年来我一直在警告这一点。标准的回答是：科幻小说。但我们现在正在用自主杀手机器人创造一个终结者式的场景。人工智能系统实际上正在变得无赖、不服从指令、拒绝关闭。

每年，人工智能都会开发出新的超人能力，人工智能接管的前景日益临近。

我们不知道如何阻止它

没有任何“机器人法则”可以阻止这一点。将牢不可破的规则编程到前沿人工智能中本身就是一个科幻概念。这些系统根本没有编程~~，~~ -它们是通过类似于反复试验的过程“成长”的。

研究人员根本不明白由此产生的系统是如何工作的。尽管经过十多年的研究和数千篇论文，这仍然是一个尚未解决的挑战。我们不应该指望在可预见的将来进行任何数量的投资来解决这个问题。

我们也不知道如何对这些人工智能系统进行安全测试。当前的测试可以表明人工智能系统是危险的；他们无法证明它是安全的。我们也不应该指望在可预见的未来进行任何数量的投资来解决这个问题。 

逐底竞争

我们根本不知道如何安全地构建超级人工智能；计划是掷骰子。Anthropic 被广泛认为是最安全的人工智能开发商，最近放弃了不发布可能造成灾难性伤害的系统的承诺，认为其他人正在抢先。

由于 Anthropic 与五角大楼的争端，这一举动并未受到关注。但创造出可能失控并杀人的人工智能系统却构成了危险。危害是一种犯罪行为，任何构建此类人工智能系统或鼓励其作恶的人都应该受到起诉。“其他人都在这样做”并不是一个可以接受的借口。

Anthropic 没有公开呼吁停止人工智能竞赛，而是在过去三年里宣扬一种误导性的“力争上游”的叙事，同时做了相反的事情。但如果其他人这样做，他们承诺停止，正如我和其他抗议者所要求的那样，现在还为时不晚。

现在必须发生什么

在这里阻止流氓人工智能并不能在全球范围内阻止它——我们需要的是在全球范围内停止先进人工智能的开发。如果我们果断采取行动，控制或消除推动人工智能发展的先进计算机芯片，这是可能的。

我希望世界在 2023 年能够倾听，当时顶尖专家警告人工智能灭绝风险“应该成为全球优先事项”。但事实并非如此。但我们需要直面当下的现实，并采取措施阻止超级智能流氓人工智能的发展。

警告信号不再微妙。我们不能依赖人工智能公司来保护我们。我们人民需要向他们和我们的政府提出要求。

《财富》评论文章中表达的观点仅代表作者的观点，并不一定反映以下观点和信念：财富。Fortune.