人工智能武器和人类控制的危险幻想

“我会回来的，”阿诺·施瓦辛格在 1984 年的科幻热门片中做出了著名的承诺终结者。他不是在开玩笑。在 2023 年的一次采访中，这位演员出任州长表示，电影中关于自主武器的愿景现已成为现实。或者，正如电影导演詹姆斯·卡梅隆所说，“我在 1984 年警告过你们，但你们没有听。”

电影中的 在反乌托邦的未来，人类设计了一个人工智能支持的军事系统，它会失控并毁灭人类。严格来说，这并没有发生。与此同时，不可否认的是，战争在 40 年来发生了变化。终结者热门影院。人工智能武器被积极部署在从乌克兰到加沙的战场上，它们很可能在美国和中国之间的任何冲突中发挥决定性作用。

终结者™人类集体心理中始终存在这样的警告：不能信任机器来做出重要决定，例如何时开枪、向谁开枪等。 然而，真正的危险可能不是人类对这些系统的控制太少，而是认为它们完全可以控制的错觉。这种幻觉给民主政府、军队和社会带来了虚假的安慰，因为他们天真地希望他们能够通过让人类参与进来来设计更好的系统——这些系统可以击败那些对自动化一切毫不犹豫的专制对手的系统。

然而，当谈到人类对人工智能武器系统的控制时，普遍的观点仍然是越多越好。例如，美国政府政策明确要求致命性自主武器的设计具有适当人为干预的能力。高级官员经常强调这一事实。2023 年末，国防部启动了“复制器计划”（Replicator Initiative），旨在到 2025 年 8 月在各军种部署数千个自主系统，国防部副部长凯瑟琳·希克斯 (Kathleen Hicks) 表示，“总有一个人负责使用武力，完全停止。 – 联合国正在寻求禁止完全自主武器，并提出了具有国际约束力的规则，要求此类系统必须有人参与。许多非政府组织，包括阻止杀手机器人组织、生命未来研究所和国际特赦组织，都支持人类控制自主武器的事业。

尽管想象活着的、会呼吸的人会限制无意识的算法不加区别地杀人是令人欣慰的，但这种共识与技术现实脱节。驱动当代自主武器的人工智能模型往往过于复杂，即使是训练有素的操作员也无法监督。更重要的是，每一项自主武器的用途都设想它们会大规模运行，这需要大量的数据、速度和复杂性，而这使得有意义的人类干预变得不可能。在正常情况下，期望人类权衡人工智能系统分析的优点并提出行动方案将是具有挑战性的。在战斗条件下——压力巨大、时间有限、个人、单位和上级机构之间的通讯中断或不存在——这样做是不可能的。因此，军队不能沉迷于人类将有能力在战时控制自主武器的幻想，而必须在和平时期条件下建立对其自主武器模型的信任，并在枪击开始时让它们在没有过度人为干预的情况下发挥作用。

战争加速

双方之间的军事竞争美国中国使得自主武器系统的开发和部署几乎不可避免，乌克兰战争提供了这种范式转变的早期证据。与此同时，美国政府致力于立即广泛部署人工智能，用于各种安全目的——情报分析、生物安全、网络安全等。

多年来，北京在旨在抵消美国在东亚力量投射的能力方面投入了大量资金，这有可能让美国中国将既成事实强加于台湾。直到最近，美国军方还优先维护少量大型、所谓的精致武器平台，例如航空母舰和顶级战斗机和轰炸机。然而，这种方法不再可持续。中国建造并分发了大量相对廉价的武器系统，例如反舰弹道导弹和柴电潜艇，这些系统可能很容易摧毁美军的精致平台，这种战略被称为“拒绝”。为了恢复美国在东亚的优势，各军种因此开始努力部署足够的无人系统，以压倒中国的否认能力。

自动化、人工智能和具有不同自主程度的无人机是美国几乎所有军种的基本组成部分——最新的作战概念：海军陆战队——2030年部队设计、海军——分布式海上作战、陆军——大规模作战行动以及空军的未来作战概念。其中每一项都依赖于 2022 年启动的一项名为“联合全域指挥与控制”的持续计划，仅 2024 年就耗资 14 亿美元。据国防部称，该计划旨在连接“每个传感器、每个射手”，以便“发现、收集、关联、聚合、处理和利用来自所有领域和来源的数据”，从而创建统一的“数据结构”。简单地说，一切可以收集数据的东西，从卫星到海上无人机再到野战士兵，都应该能够共享和使用数据。

无人系统是该数据结构不可或缺的支柱。在陆地上，它们将通过提供更高的精度来增强杀伤力并减少友军和平民伤亡。在空中，无人驾驶飞机将具有更大的续航力和机动性，可以部署更多数量，协作覆盖更大的区域，并使对手的反目标变得复杂。在海上，无人驾驶船只将渗透到以前无法进入的区域。

美国、中国和俄罗斯每个国家都花费了​​数十亿美元来相应地改变战争。安全竞争的压力只指向一个方向：战争中不断加速的自动化。从纯粹的战术和作战角度来看，战争速度越快，通过要求人类在战斗中调解来减慢速度的缺点就越多。

人都会犯错

当然，战术和行动并不是战争中唯一的考虑因素。从道德角度来看，许多观察家担心，如果没有监督，不思考的机器可能会失控，违反历史悠久的原则，例如相称性（规定军事行动造成的伤害不能超过其好处）和歧视（要求军队区分战斗人员和平民）。其他人担心，由于训练数据存在偏差，自主系统可能会伤害弱势群体，或者非国家行为者可能会入侵或窃取自主武器并将其用于恶意目的。

从实际角度来看，短视地强调战术或作战效能也可能导致不良的战略结果，例如意外升级。自主武器的批评者认为，人类将更广泛的背景融入到他们的决策中，使他们能够更好地处理新奇或混乱，而机器则停留在脚本上。很少有人完全信任机器能够做出杀戮或扩大军事行动范围等重大决定。迄今为止，大多数人的假设都基于令人难忘的计算机错误实例，例如自动驾驶车祸或聊天机器人的“幻觉”。许多人认为，人类不太可能不必要地流血或升级冲突。

这些道德和实践论据得到了基本事实的支持，即即使是最先进的人工智能自主系统也会犯错误。然而，人工智能已经发展到人类控制往往只是名义上而非实际的程度。事实上，对人类控制人工智能能力的过度认识可能会加剧批评者所担心的风险。人类将能够干预未来高压力、高速度的战斗场景，而在此期间，通信将会退化或断断续续，这种幻想阻碍了政策制定者、军事人员和系统设计者采取必要的措施立即设计、测试和评估安全的自主系统。

强迫人类干预战术决策不会自动使人工智能战争中的杀戮变得更加道德。现代军队长期采用具有各种形式的分级自主权的系统，例如海军的宙斯盾作战系统，释放武器需要不同级别的人类权力。但操作员的启动决定依赖于计算机系统分析传入的数据并生成选项菜单。在这种环境下，人类的选择以及相应的道德判断更像是橡皮图章，而不是明智的决定：操作员已经信任收集数据的传感器以及分析数据和指定目标的系统。

未来的人工智能战争将更快、更加依赖数据，因为人工智能武器系统（例如无人机群）可以快速大规模部署。人类既没有时间也没有认知能力独立于机器评估这些数据。例如，以色列在加沙战争期间使用了人工智能目标生成系统。该系统使用数十万个详细信息将目标分类为敌对目标，过于复杂，无法在必须在几分钟或几秒钟内做出决策时进行事后猜测。

安全竞争的压力只指向一个方向：战争中不断加速的自动化。

此外，从实际角度来看，人类控制不再更好。不言而喻，人并不比机器拥有更多的背景。在人工智能时代，他们拥有的往往会少得多。想象一下，一名飞行员领导着一支自动驾驶飞机机队，或者一名指挥官在空中、陆地和海上协调数千架无人机，就像美国军方的“地狱景观”概念一样。根据这个计划，如果中国试图入侵台湾届时，美国海军将部署数千艘无人水面舰艇、水下舰艇和飞机，将台湾海峡变成射击场，为美国舰队动员争取时间。人类无法解释此类系统收集的大量数据并对其进行分析以做出正确的决策。尽管自主系统可以扩展以适应更多数量的交互式和复杂任务，但人类的能力是固定的。加快人类解释和分析的压力将导致决策缺乏深思熟虑且更容易出错。同时，如果不加快决策过程，行动选择在快速变化的环境中就会过时。

在未来的冲突中，部队之间的通信中断或不存在——大多数观察家预计，鉴于双方都有能力瞄准卫星、侵入或干扰电磁频谱，美国和中国之间的战争就会出现这种情况——现场的个别指挥官和人员很可能无法获得更高级别的监督和支持。以被称为“后备部队”的海军陆战队概念为例，它们被设计为小型且高度机动的作战部队。后备部队将以分散的小队形式在中国武器射程内的太平洋岛屿和领土上行动。为了生存，他们需要最大限度地减少电磁特征，即通过使用雷达或通信设备产生的射频发射单元，对手可以利用这些特征来定位和攻击他们。这意味着替身部队通常必须关闭通信才能隐藏，迫使他们在没有外部输入的情况下做出决策，并且仅使用自己收集的数据。在这种情况下，人员不会仅仅因为他们是人而拥有更丰富的背景。

政策制定者和军事领导人建议放慢和缩小自主系统的使用或复杂程度，以适应人类的速度。所有这一切都会导致响应速度变慢。其他加强人力控制的倡导者赞扬了更好的操作员培训的重要性。这只能提供边际收益，因为人工智能系统越来越超出人类认知能力的极限，而生成的数据量呈指数级增长。

美国高级国防官员在公开声明中认为，军事人工智能系统应该只提出建议，而不是采取直接行动。例如，虽然很容易想象无人机如何能够自主飞行到目标，然后仅在人类发出命令时才进行交战，但这掩盖了人工智能战争的实际运作方式。乌克兰的冲突表明，随着无人机的激增，干扰无人机与操作员通信的系统也随之出现。这迫使乌克兰人接受越来越高水平的真正自治。

正如一些人所说，也不可能轻易区分致命性自主武器的进攻性和防御性用途，并且只允许真正的自主自卫。正如普鲁士将军卡尔·冯·克劳塞维茨时代以来的军事战略家所观察到的那样，战术防御可以支持作战进攻，或者战术进攻可以支持作战防御。

建立信任

出于所有这些原因，基于人类控制自主武器能力的政策建议充其量只是治标不治本。它们可能让每个人都感到安全，因为武器永远不会自行开火，但它们也让军队更难获胜，并且将最困难的道德和实际问题留给了前线人员，用最少的时间和最少的资源来做出决策。政策制定者不应该抱有令人安慰的幻想，而应该对自主武器系统采取现实的方法——甚至可能被证明更道德。

要做到这一点，各国政府必须首先确保关键的人类决策，例如有关相称性和歧视的决策，不是在战时做出的，因为战时没有时间思考，而是在和平时期做出，此时专家的意见、民主辩论和高层会议都在和平时期做出。级监督是可能的。其目标不是消除人为控制和责任，而是确保在适当的时间以正确的资源行使这些控制和责任，而不是在战时，因为这可能会导致一场战斗。

各国政府还必须承认，即使是最先进的技术人工智能系统并不总是正确的。通过及早发现故障并从中学习来减少故障的影响对于发展系统以使其保持实用和道德至关重要。鉴于人类在战时无法监督这些系统，军队需要快速、轻便和多样化的辅助警务系统，例如用于检测自动驾驶汽车违反驾驶规则或文本生成器中的仇恨言论的系统。国防承包商和军队都必须制定从失败中吸取教训的程序，即调查事件、分配责任并指导系统发展。

最后，国防承包商和军队现在必须建立对自主系统的信任。通过提供当前系统按预期工作的证据，它们可以为以后以机器的速度进行战争铺平道路。不受信任的系统将需要更多的人为干预，从而减慢速度。军方拥有成熟的测试和评估实践来建立对传统系统的信任。然而，人工智能支持的自主系统的构建方式与以前的系统截然不同，因此需要新形式的证据来建立信任。它们不是由开发人员通过逻辑决策规则进行编程的。相反，为了实现需要数百万条规则的规则，这些新系统经过训练，学习如何映射数据集中的输入和预期输出。这种系统构建范式的改变需要新形式的证据。训练人工智能模型的数据必须明显反映系统在战斗中使用时将吸收的现实世界输入；它必须来自可靠的来源并且是最新的。该系统必须通过一系列质量保证检查，以确保其遵守实际目标和道德原则。最终，鉴于这些系统对人类理解的不透明性，它们还必须提供解释性证据来解释其行为。

未来几十年，美国将在战争中越来越依赖人工智能自主武器系统。沉迷于人类可以在战争进行时控制这些系统的幻想将会束缚民主国家的手脚，而对手却没有这样的内疚感。它还可能导致不那么道德的决策，因为将这些决策留到战时几乎可以保证它们是在最大可能的胁迫下做出的，而此时不可能做出真正的决策。政府现在必须将人类输入硬连接到系统中，然后监管和改进这些系统，并努力建立用户信任。否则，人类控制军事人工智能的愿望将导致更多的人丧生，而不是挽救更多的生命。

加载中...