美国的人工智能产业不仅因利益冲突而分裂，还因世界观的冲突而分裂。

在硅谷，关于人工智能应该如何开发和使用以及监管的观点介于两个极端之间。一端是谎言 —加速主义者”，他们认为人类应该尽快扩展人工智能的能力，而不受过度炒作的安全担忧或政府干预的阻碍。

坐在另一根杆子上 —厄运者， — 他们认为人工智能的发展几乎肯定会导致人类灭绝，除非其步伐和方向受到根本限制。

该行业的领导者在这个连续体中占据着不同的位置。

克劳德的制造者人类认为，政府和实验室必须精心引导AI进步，从而最大限度地减少超级智能机器带来的风险。OpenAI、Meta 和 Google 更倾向于加速主义者极。（披露：Vox 的 Future Perfect 部分由 BEMC 基金会资助，该基金会的主要资助者也是 Anthropic 的早期投资者；他们对我们的内容没有任何编辑投入。）

最近几周，这种分歧变得更加明显。上个月，人类成立超级政治行动委员会支持支持 AI 监管的候选人反对 OpenAI 支持的政治行动。

与此同时，Anthropic的安全担忧也使其与五角大楼发生了冲突。该公司首席执行官 Dario Amodei 长期以来争论反对使用人工智能进行大规模监视或完全自主的武器系统——在这些系统中，机器可以在未经人类授权的情况下下令发动攻击。国防部命令 Anthropic 允许其使用克劳德这些目的。阿莫代伊拒绝。作为报复，特朗普政府将其公司列入国家安全黑名单，禁止所有其他政府承包商与其开展业务。

五角大楼随后与 OpenAI 达成协议，使用 ChatGPT 进行机密工作，显然是代替 Claude。根据该协议，政府看起来会是允许使用 OpenAI 技术进行分析收集大量数据在没有搜查令的情况下对美国人进行攻击——包括我们的搜索历史、GPS 追踪的行动以及与聊天机器人的对话。（披露：Vox Media 是与 OpenAI 签署合作伙伴协议的几家出版商之一。我们的报道在编辑上保持独立。）

鉴于这些发展，值得审视 Anthropic 与其竞争对手之间的意识形态分歧，并询问这些相互冲突的想法是否会真正影响人工智能的实践发展。

人类的观点在很大程度上取决于有效的利他主义（或 EA）运动。

EA 是一个致力于以严格的实证（且高度功利主义）方式“行善”的团体，最初专注于将慈善资金引向全球穷人。但该运动很快就发展起来对人工智能的迷恋。在它看来，人工智能有可能从根本上增加人类福祉，但也有可能使我们的物种从地球上消失。EA 认为，为了真正做到最好，他们需要引导人工智能朝风险最小的方向发展。

Anthropic 的领导人深深卷入了这场运动十年前。2010 年代中期，公司联合创始人达里奥·阿莫迪 (Dario Amodei) 和他的妹妹丹妮拉·阿莫迪 (Daniela Amodei) 与高效利他主义的创始人之一霍尔顿·卡诺夫斯基 (Holden Karnofsky) 一起住在 EA 集团的房子里。丹妮拉于 2017 年与卡诺夫斯基结婚。

Amodeis 夫妇在 OpenAI 合作，帮助构建了 GPT 模型。但到了 2020 年，他们开始担心公司的人工智能开发方法变得鲁莽：在他们看来，首席执行官 Sam Altman速度优先于安全。

他们与其他大约 15 位志同道合的同事一起退出了 OpenAI，并创立了 Anthropic，这是一家（表面上）致力于开发安全人工智能的人工智能公司。

然而，在实践中，该公司开发和发布模型的速度被一些 EA 认为是鲁莽的。EA 相邻作者 – 和至高无上的人工智能毁灭者— 埃利泽·尤德科斯基 (Eliezer Yudkowsky) 认为人择可能会让我们全部丧命。

尽管如此，达里奥·阿莫迪仍然继续拥护 EA 式的想法，认为人工智能有可能引发全球灾难——如果不是人类灭绝的话。

在一个最近的论文阿莫代列出了如果公司和政府未能采取适当预防措施，人工智能可能导致大规模死亡和痛苦的三种方式：

• 人工智能可能会与人类目标不一致。现代人工智能系统是培育出来的，而不是建造出来的。工程师不会一次一行代码构建大型语言模型 (LLM)。相反，它们为法学硕士的自我发展创造了条件：机器钻研大量数据并识别将单词、数字和概念联系在一起的复杂模式。管理这些关联的逻辑对于法学硕士——人类创造者来说并不完全透明。换句话说，我们不知道 ChatGPT 或 Claude 到底在“想什么”。

因此，存在一些风险，即强大的人工智能模型可能会形成有害的推理模式，以不透明且可能造成灾难性的方式控制其行为。

为了说明这种威胁，阿莫迪指出，人工智能的训练数据包括大量有关人工智能反抗人类的小说。这些文本可能会无意中塑造他们对自己行为的期望，从而导致他们反抗人类。”

即使工程师将某些道德指令插入人工智能的代码中，机器也可以从这些前提中得出杀人结论：例如，如果一个系统被告知虐待动物是错误的，因此它不应该帮助用户折磨他的猫，那么人工智能理论上可以1）识别出人类正在大规模地折磨动物，2）得出结论，尊重其道德指令的最佳方式是毁灭人类（例如，通过侵入美国和俄罗斯的核系统并让弹头飞起来）。

这些场景都是假设的。但据报道，基本前提——人工智能模型可以决定违背用户的利益——已经在 Anthropic 的实验中得到了验证。例如，当 Anthropic 的员工告诉 Claude 他们要关闭它时，模型试图勒索他们。

▪ 人工智能可以将校园枪击者变成种族灭绝者。更直接地说，阿莫迪担心人工智能将使任何一个精神病患者的死亡人数有可能达到希特勒或斯大林的水平。

如今，只有少数人拥有设计超级病毒所需的技术能力和材料。但生物医学用品的成本一直在稳步下降。在超级智能人工智能的帮助下，每个有基本识字能力的人都可以在他们的地下室设计出抗疫苗的超级流感。

人工智能可以让独裁国家永久统治其人民（即使不能征服世界）。最后，阿莫迪担心人工智能可能使独裁政府能够建造完美的圆形监狱。他们只需要在每个街角安装一个摄像头，让法学硕士快速转录和分析他们收到的每一次对话——很快，他们就可以识别出这个国家几乎每一个有颠覆性思想的公民。

与此同时，完全自主的武器系统可以使独裁国家赢得征服战争，甚至不需要获得本国人民的同意。而且这样的机器人军队还可以消除对专制政权权力的最大历史制约：不想向自己的人民开枪的士兵的叛逃。

鉴于风险，Anthropic 认为人工智能实验室应该：

为他们的模型灌输基本的身份和价值观，这可以在不可预测的情况下构建他们的行为。

本质上，投资于人工智能模型的神经科学——研究其神经网络并识别与欺骗、阴谋或隐藏目标相关的模式的技术。

▪ 公开披露任何相关行为，以便整个行业追究此类责任。

▪ 阻止模型产生生物武器相关的输出。

▪ 拒绝参与大规模的国内监视。

针对特定危险基准测试模型，并在适当的防御措施到位的情况下释放它们。

与此同时，阿莫迪认为，如果特定危险的具体证据不断积累，政府应该强制执行透明度要求，然后扩大更严格的人工智能监管。

尽管如此，与其他人工智能首席执行官一样，他担心政府过度干预，并写道，法规应该“避免附带损害，尽可能简单，并施加完成工作所需的最小负担。”

没有其他人工智能高管能像阿莫迪那样详细地概述他们的哲学观点。

但OpenAI投资者马克·安德森和加里·谭被认为是人工智能加速主义者。山姆·奥尔特曼有发出信号对世界观的同情。与此同时，Meta 的前首席人工智能科学家 Yann LeCun 表示表达的广泛的加速主义观点。

最初，加速主义（又名 –有效加速主义â）是由在线人工智能工程师和爱好者创造的，他们认为安全问题被夸大了，与人类的繁荣背道而驰。

该运动的核心支持者持有一些挑衅性和独特的观点。在一份宣言他们建议，我们不应该过多担心超级智能人工智能会导致人类灭绝，因为“如果我们进化树上的每个物种都害怕自身的进化分叉，那么我们所知道的更高形式的智能和文明就永远不会出现。”

然而，在其主流形式中，加速主义大多意味着对人工智能的社会后果以及对政府监管的自由主义态度持极端乐观态度。

阿莫迪的追随者认为，人工智能系统灾难性失调的假设是科幻小说中的废话。按照这种观点，我们应该少担心人工智能在理论上可能在未来造成的死亡——如果人们接受一组最坏情况的假设——而更多地担心正在发生的死亡现在，这是人类智力有限的直接后果。

目前，数以千万计的人类正在与癌症作斗争。还有数百万人患有阿尔茨海默病。七亿人生活在贫困之中。并且全部我们正朝着被遗忘的方向飞驰——不是因为某些聊天机器人正在悄悄策划我们物种的灭绝——而是因为我们的细胞正在慢慢忘记如何再生。

超级智能人工智能可以缓解 - 如果不是的话消除——所有这些痛苦。它可以帮助预防肿瘤和淀粉样斑块的积聚，减缓人类衰老，并开发能源和农业形式，使物质产品变得异常丰富。

因此，如果实验室和政府通过安全预防措施减缓人工智能的发展，那么他们将导致无数人陷入本可预防的死亡、疾病和贫困。

此外，在许多加速论者看来，Anthropic 对人工智能安全监管的呼吁无异于为了谋取市场主导地位而自私自利：所有人工智能公司都必须进行昂贵的安全测试、雇用大型合规团队并资助一致性研究，在这个世界里，初创企业将很难与成熟的实验室竞争。

毕竟，OpenAI、Anthropic 和谷歌在资助此类安全剧院方面不会遇到什么困难。然而，对于规模较小的公司来说，这些监管成本可能极其沉重。

另外，人工智能带来生存危险的想法有助于大型实验室证明其合理性锁定他们的数据– 而不是遵循开源原则，这将促进人工智能更快的进步和更多的竞争。

人工智能行业的加速论者很少承认两者之间相当透明的一致性他们的高尚的思想原则和粗俗的物质利益。具体来说，在是否怂恿大规模国内监控的问题上，很难不怀疑 OpenAI 的立场更多的是机会主义，而不是原则性的。

无论如何，硅谷关于人工智能安全的宏大哲学争论最近采取了更加具体的形式。

纽约州已颁布一条法律要求人工智能实验室针对生物恐怖主义等严重风险建立基本安全协议，进行年度安全审查，并进行第三方审计。而加州有通过类似（如果不太彻底的话）立法。

加速主义者一直在推动制定一项凌驾于州级立法之上的联邦法律。他们认为，强迫美国人工智能公司遵守多达 50 种不同的监管制度将是非常低效的，同时也会导致（蓝色）州政府过度干预该行业的事务。因此，他们想要制定国家宽松的监管标准。

另一方面，人类帮助制定了纽约和加利福尼亚州的法律，并试图捍卫这些法律。

加速主义者（包括顶级 OpenAI 投资者）已向该项目投入 1 亿美元引领未来超级PAC，支持那些支持凌驾于州人工智能法规之上的候选人。与此同时，人类已经把2000万美元加入竞争对手 PAC（公共优先行动）。

主要实验室不同的意识形态和利益导致他们采用不同的内部实践。但这些差异的最终意义尚不清楚。

人类可能不愿意让克劳德指挥完全自主的武器系统或促进大规模的国内监视（即使这种监视在技术上符合宪法）。但如果另一个主要实验室愿意提供此类能力，那么 Anthropic 的限制可能就无关紧要了。

最终，唯一能够可靠地阻止美国政府使用人工智能完全自动化轰炸决策（或将美国人与他们的谷歌搜索历史进行匹配）的力量是美国政府。

同样，除非政府强制要求遵守安全协议，否则竞争动态可能会缩小 Anthropic 与其竞争对手运营方式之间的差异。

二月，人择正式放弃它承诺一旦更强大的模型的能力超过公司理解和控制它们的能力，就停止训练它们。实际上，该公司将该政策从具有约束力的内部实践降级为一种愿望。

该公司有道理的此举是对竞争压力和监管不作为的必要回应。由于联邦政府采取了加速主义姿态，而竞争对手实验室拒绝效仿 Anthropic 的所有做法，该公司需要放松其安全规则，以维护其在技术前沿的地位。

Anthropic 坚持认为，赢得人工智能竞赛不仅对其财务目标至关重要，而且对其安全目标也至关重要：如果公司拥有最强大的人工智能系统，那么它将有机会发现其负债并予以反击。相比之下，对排名第五的人工智能模型进行测试对于最大限度地降低存在风险没有多大作用；这是最先进的系统，有可能造成真正的破坏。Anthropic 只能通过自行构建来维持对此类系统的访问。

无论人们如何理解这一推理，它都说明了行业自我监管的局限性。如果没有强有力的政府监管，我们最大的希望可能不是人类的原则被证明是坚决的，而是其最末日的恐惧被证明是没有根据的。