OC

Knowledge OS
鹦鹉螺口语
这些不是人工智能公司,而是国防承包商。我们不能让他们躲在模型后面
2026-03-15 13:00:00 · 英文原文

这些不是人工智能公司,而是国防承包商。我们不能让他们躲在模型后面

作者:Avner Gvaryahu

从加沙到伊朗,模式都是一样的:精确武器、选择性失明和儿童死亡。未能规范人工智能战争的成本已经太高了

A mushroom cloud explosion formed by computer cursor arrows #4D5D46

以色列有一项军事战略,称为“雾程序”。这是第二次起义期间首次使用的一项非官方规则,要求守卫军事哨所的士兵在能见度较低的情况下向黑暗中连发射击,理由是可能潜伏着看不见的威胁。

这是盲目许可的暴力。向黑暗开枪,称之为威慑。随着人工智能战争的到来,同样的选择失明的逻辑已经被完善、系统化,并交给了机器。

以色列最近的战争加沙这场战争被描述为第一次重大的“人工智能战争”——第一次人工智能系统在生成以色列所谓的哈马斯和伊斯兰圣战武装分子目标的战争中发挥了核心作用。系统处理数十亿个数据点,对领土内任何特定人员是战斗人员的概率进行排名。

瞭望塔内的黑暗是地形的一个条件。算法内部的黑暗是设计的一个条件。在这两种情况下,都选择了失明。之所以选择它,是因为盲目性是有用的:它创造了否认性,它使暴力感觉不可避免,它将谁决定的问题从一个人转移到了一个程序。雾气并没有消散。它被给予概率分数并称为智力。

可能是选择失明导致了美以战争一开始伊朗战争、伊朗南部米纳布的 Shajareh Tayyebeh 小学罢工。至少 168 人死亡,其中大多数是 7 至 12 岁的儿童和女孩。

Portraits of girls are posted on a door
伊朗米纳布 Shajarah Tayyebeh 小学在美国罢工中丧生的学生肖像。照片:Ons Abid/美联社

武器是精确的。军火专家描述的瞄准“极其准确”,每座建筑物都被单独攻击,没有任何遗失。问题不在于执行。问题出在智力上。近十年前,这所学校与邻近的革命卫队基地被栅栏隔开,并被改作民用。在定位周期的某个阶段,这一事实似乎从未更新过。

人工智能在米纳布袭击中的确切作用尚未得到官方证实。众所周知,这些系统运行的目标基础设施没有可靠的机制来标记底层情报是否已过时十年。

无论算法是否选择了这所学校,它都是由算法定位构建的系统选择的。为了在伊朗战役的头 24 小时内打击 1,000 个目标,美军依靠人工智能系统以人类团队无法复制的速度生成目标列表、确定优先级并对其进行排序。

加沙是实验室。米纳布就是市场。结果是,现代战争中最重要的目标决策是由无法自我解释的系统做出的,由不向任何人负责的公司提供,在不产生责任和清算的冲突中。这并不是系统的故障。这就是系统。


A patch with a pixelated computer cursor hand

AI杀人时谁该负责?

我们应该抵制诱惑,不要仅仅将导致儿童出现可接受错误率的逻辑归咎于算法。2014 年 7 月,Bakr 家族的四名男孩——伊斯梅尔 (Ismail)、扎卡里亚 (Zakariya)、阿赫德 (Ahed) 和穆罕默德 (Mohammad),年龄 9 至 11 岁——被在加沙海滩被杀。没有人工智能参与。该地点已被预先归类为哈马斯海军基地。这些男孩被标记为可疑,因为他们先跑后走——这种行为符合战士试图不引起注意的目标模板。当第一枚导弹击中时,幸存的孩子们逃走了。无人机尾随他们,再次开火。一名警官后来作证说,从垂直鸟瞰角度来看,很难识别儿童的身份。这次袭击被记录为目标错误。

以色列机密军事数据库,由卫报、+972 杂志和 Local Call 审核表示,在加沙记录的 53,000 多人死亡中,哈马斯和伊斯兰圣战战士约占 17%。这表明其余的 83% 是平民。这些不是一场精确战争的统计数据,这是一场以不精确为目标的战争。(以色列国防军对《卫报》文章中提供的数字提出异议,尽管他们没有具体说明是哪些数字。)

A father, mother and their young son at home
穆罕默德·伯克尔 (Mohamed Bakr) 和他的妻子萨尔瓦 (Salwa) 以及他们的一个孩子。他们在 2014 年加沙城海滩的一次空袭中失去了 11 岁的儿子穆罕默德。摄影:肖恩·史密斯/卫报

所以人工智能瞄准系统并没有发明这个逻辑。他们继承了它,对数百万个数据点进行了编码,并使其自动化,超越了任何有意义的人工检查。当米纳布的一所学校在数据库中被归类为军事基地时,这并不是故障。这是雾程序,与在加沙海滩追赶四个男孩的逻辑相同——完全按照设计,以不同的规模,在不同的国家,使用不同的武器。黑暗现在只是拥有更好的硬件。

许多人工智能系统本质上违反了国际人道法,国际人道法不仅要求军事行动产生正确的结果,而且要求军事行动取得正确的结果。在实施之前需要经过仔细的过程。指挥官必须尽一切合理努力验证目标是否为合法军事目标。该法律还要求采取一切可行措施保护平民免受袭击的影响,这不是事后才想到的,而是作为一项平行和平等的义务。

该义务不能委托给推理不透明且输出无法实时查询的系统。在加沙,一种算法处理了地带中每个人的数据——电话记录、行动模式、社交关系、行为信号——并生成了一份名单,每个人都分配了一个概率分数,表明他们是战斗人员的可能性。这与人类分析师识别已知武装分子并编程武器来打击他们不同。人工智能没有确认身份。它在统计上对整个人群进行推断,产生了在出现在名单上之前没有人单独评估过的目标。

在这个系统中,验证意味着操作员平均检查每个名字大约 20 秒,这段时间足以确认目标是男性。然后他们就签字了。单独生产一套系统战争最初几周内超过 37,000 个目标。另一个能够每天生成 100 个潜在的爆炸地点。循环中的人类没有做出判断。他们正在管理队列。

目前,伊朗的情况还没有得到充分记录。但规模讲述了它自己的故事。两个来源已向 NBC 新闻确认Palantir 的人工智能系统部分利用了大型语言模型技术,用于识别目标。(Palantir 首席执行官 Alex Karp 在 CNBC 上被问及此事时表示,他“无法透露具体细节”,但表示 Claude 仍被集成到伊朗战争中使用的 Palantir 系统中。)美国中央司令部司令布拉德·库珀 (Brad Cooper) 吹嘘说,伊朗军方正在使用人工智能“在几秒钟内筛选大量数据”为了“比敌人反应更快地做出更明智的决策”。无论每次打击是否都有人工智能辅助,战役的节奏之所以可能,是因为目标定位已经基本上实现了自动化。

当报告的人工智能辅助目标验证时间以秒为单位时,我们不再谈论算法辅助下的人类判断。我们正在谈论对机器的输出进行橡皮图章。当机器的数据已经过时十年时,其后果就会被写进一排排小棺材里。

涉及此事的公司并非默默无闻的国防初创公司。帕兰提尔,由中央情报局早期资助成立,现在是美国军方主要的人工智能基础设施提供商之一,为伊朗战役提供了使用的系统。这些系统部分借鉴了 Anthropic 的 Claude,这是一种大型语言模型,其母公司试图抵制五角大楼的压力,要求消除对其用于目标定位的道德限制。五角大楼的回应是威胁要切断联系,转而求助于 OpenAI 和其他公司。大规模屠宰市场并不缺乏供应商。

这一事件很有启发性:一家试图划清界限的公司被边缘化了,而杀戮却没有中断地继续进行。尽管内部员工强烈抗议,谷歌还是与以色列政府和军方签署了 Project Nimbus 云计算和人工智能合同,价值超过 10 亿美元。

亚马逊与谷歌共同签署了 Nimbus 项目。微软与以色列军事系统进行了深度整合,但在 2024 年迫于压力部分退出后,数据在几天之内就迁移到了亚马逊网络服务。

Anduril 由帕尔默·拉基 (Palmer Luckey) 创立,员工人数众多,其中包括前美国国防部官员,该公司制造专门为致命目标而设计的自主武器系统。OpenAI 直到最近才在其服务条款中禁止军事用途,并于 2024 年初悄然取消了这一限制,并自此开始寻求五角大楼的合同。这些公司是世界上最有价值的公司之一,拥有数亿人使用的消费品、大学研究合作伙伴关系以及在华盛顿、布鲁塞尔及其他地区的重大政治影响力。

当然,几个世纪以来,私营公司一直在为军队提供无线电、卡车、卫星导航、微波技术,当然还有复杂的武器系统。这并不是什么新鲜事,也不是本质上腐败的。“军民两用”问题与工业化一样古老:几乎任何强大的技术都可以用于军事目的。

但人工智能瞄准不仅仅是军队纳入其行动的一个组成部分。决策架构本身决定了谁被杀以及为什么被杀。当一个系统可以生成数以万计的目标,而人类情报团队需要验证 10 个目标时,问题就不再是私营公司是否应该向军队提供服务。问题是任何法律框架是否能够与其接触而生存。

在国际法中,我们谈论问责框架:从使用致命武力的决定一直到授权人的责任链。问责框架要求某人被识别为决策者,他们的推理在事后可重构,并且法律要求的过程义务——相称性评估、验证、预防——可以被证明得到遵守。

人工智能瞄准系统地破坏了这些条件。归因在工程师、指挥官、操作员和企业供应商的链条中消失,每个人都可以指向另一个人。推理消失为概率分数,律师无法审核,法庭也无法盘问。流程缩减为 20 秒批准机器建议。建造和销售该系统的公司完全处于法律框架之外,因为国际人道主义法是为国家及其代理人设计的,而 Palantir 并不是日内瓦公约的签署国。

问责框架不仅仅受到人工智能战争的压力或考验。它在结构上已变得无关紧要。


A target made of zeros and ones

拨开战争迷雾

我们应该停止称呼这些科技公司,而开始称呼它们本来的样子:国防承包商。

最大的人工智能公司并不是碰巧找到军事客户的中立基础设施提供商。它们正在被整合到现代战争的目标架构中。他们的系统位于杀伤链内,他们的工程师持有安全许可,他们的高管通过始终将硅谷与五角大楼连接起来的同一扇旋转门进行轮换。

这些人工智能提供商处于军工复合体的最前沿,应该受到同样的监管。明确的责任链适用于雷神公司和洛克希德马丁公司等公司,包括出口管制、国会监督、责任框架和采购条件,而适用于编写选择军事目标的算法的公司的薄弱法规从未得到应用、测试或执行。

A woman holds a sign that says ‘Palantir kills in Gaza’
2025 年 7 月 14 日,示威者聚集在加利福尼亚州帕洛阿尔托的 Palantir 办公室外,抗议 Palantir 在 ICE 驱逐和以色列-加沙战争中所扮演的角色。照片:阿纳多卢/盖蒂图片社

这并非疏忽。这是一种通过游说、故意模糊“商业”和“国防”产品以及仍然将人工智能视为碰巧进入战场的消费技术的监管文化来积极维持的选择。Palantir 2024 年花费了近 600 万美元游说华盛顿,2023 年四分之一的支出超过了诺斯罗普·格鲁曼公司。它成立了一个专门的基金会来塑造其运营的政策环境。Palantir、Anduril、OpenAI、SpaceX 和 Scale AI 组成的联盟被描述为由其自己的参与者作为向美国政府提供新一代国防承包商的项目。支持这些公司的风险投资公司安德森霍洛维茨和创始人基金通过接近权力培养了影响力:顾问委员会的前高级官员、在政府角色中轮流担任的合作伙伴以及直接接触决定五角大楼支出多少和支出内容的政策制定者。

欧盟人工智能法案是迄今为止管理人工智能最雄心勃勃的尝试,明确豁免军事和国家安全应用,并声称国际人道主义法是更合适的框架。这是一种显着的循环行为:被这些系统系统性破坏的一套法律被指定为它们的监管者,而可能真正限制它们的监管者则视而不见。

在美国,2025年国防授权法案的人工智能条款并不规范军事人工智能。他们指示各机构采用更多此类技术。Pete Hegseth 于 2026 年 1 月发布的人工智能战略将这个问题完全描述为一场竞赛,指示五角大楼以战时的速度行动,将人工智能作为第一个试验场。监管文化并没有跟上技术的发展。它已故意决定不再尝试。

到目前为止,我们看到的唯一严重的政府对人工智能军事能力的干预不是来自要求克制或问责的国家,而是来自美国要求提高这些系统的杀伤力。这就是我们所接受的雄心壮志。

由于涉及的众多行为者几乎不关心国际法,因此彻底禁止这些系统是不可能的。但压力点仍然存在,而且是真实存在的。任何未来的华盛顿政府如果想要利用人工智能军事能力而不生产一系列无休止的 Minab,都需要一个监管框架——不是作为对批评者的让步,而是作为不成为流氓行为者的基本要求。欧洲的情况也是如此,英国已投入超过 10 亿英镑开发新的人工智能集成瞄准系统,连接所有领域的传感器和打击能力,法国领先的人工智能公司与德国国防初创公司合作建立自主武器平台,德国正在乌克兰部署人工智能制导攻击无人机。

这些系统有监管的空间。欧盟拥有最明显的工具,不是通过有意豁免军事应用的《人工智能法案》,而是通过对商业和国防市场之间移动的军民两用系统的出口管制和采购条件。国际法院也开始敞开大门:国际法院关于巴勒斯坦权利的咨询意见创建了一个框架,在这个框架中,为非法罢工提供系统的公司在认真对待国际法的司法管辖区面临潜在的责任风险。人工智能公司不仅需要政府作为客户,还需要政府作为前沿人工智能所需的计算能力、能源和物理基础设施的提供者,而没有任何公司能够仅靠商业收入来维持这些基础设施。这种依赖性使愿意使用它的国家对那些不愿受到监管的公司具有真正的影响力。问题是,任何拥有采取行动工具的政府是否会在下届部长级会议之前决定不采取行动的成本已经变得太高。

监管应该是什么样子相对简单,尽管执行起来很困难。用于定位的人工智能系统必须是可解释的——不是通过概率得分,而是通过律师可以审计的推理。人工智能辅助行动的累积民事成本必须作为一个整体进行评估。运营商的责任必须延伸到供应链上那些故意制造和销售用于武装冲突的不透明系统的公司。这些并不是新的要求。它们是战争法在算法瞄准时代发挥作用的最低条件。

与此同时,雾程序正在运行,并将定义战争的未来。但向黑暗开枪的士兵至少也在其中。那些取代它们的公司正在帕洛阿尔托这样做,没有个人风险,没有法律风险,并且有充分的动力再次这样做。

  • Avner Gvaryahu 是牛津大学布拉瓦尼克政府学院的博士研究员。他是打破沉默的前执行董事,这是一个由退伍士兵组成的以色列人权组织

关于《这些不是人工智能公司,而是国防承包商。我们不能让他们躲在模型后面》的评论

暂无评论

发表评论

摘要

以色列在加沙的战争和美国对伊朗的袭击凸显了人工智能在现代战争中的使用,导致了大量平民伤亡。精确武器与过时或有缺陷的情报相结合,导致针对儿童和平民的不分青红皂白的暴力行为。人工智能系统旨在生成目标列表并确定其优先顺序,但其运行却缺乏有意义的人类监督,从而破坏了国际人道法。Palantir、Anduril 和 OpenAI 等公司已深度融入军事行动,但在法律问责框架之外运作。挑战在于监管这些人工智能系统,以确保遵守人道主义法,因为当前的监管文化无法解决人工智能战争带来的系统性问题。