军事AI将意味着大修测试：国防部的第一位AI负责人

要采用自动武器系统，例如飞行员飞机和其他人工智能驱动的创新，美国军方将不仅要改革其在每个领域的战略和战术，而且还必须对其测试其技术的方式进行改革。 

退休空军约翰·杰克·沙纳汉（JohnJackâshanahan）中将，五角大楼尚不很好地进行人工智能的测试和评估，或者是人工智能的T＆E，或任何其他需要持续更新的尖端软件。 

尽管如此，在T＆E世界上，世界上没有人比我们的军事服务更好 - 我们一直在做这件事。新美国安全中心的观众。一个 

他补充说，这甚至适用于软件以及硬件，只要它是在非常线性的过程中开发的。剧院战斗管理控制系统或分布式的共同地面系统每隔几年升级每隔几年，这允许进行大量的多阶段测试。他说，升级进行了开发测试，操作测试，初始野外野外，随后的野战等等。” 

但是AI与众不同，他说：我们必须习惯这样的事实，即这些更新可能是在数小时和几天而不是数月和几年内发生的。” 

Shanahan说，就像其他使用最新软件工程技术的系统一样，AI必须定期更新，尤其是在冲突期间。如果您不这样做，那就陈旧了。它不会像广告宣传那样工作。对手会破坏它，这将比首先没有AI更糟糕。” 

但是，当赌注和压力很高时，这种测试在枪击战争中如何工作？ 

`对于持续的集成/连续部署，我认为我们应该在单位级别上考虑它。……是否总是必须回到一些集中的T＆E设施？他说，不是在战争之中。有人会像通过Top Gun或Air Force武器学校一样穿特殊的补丁，说我有资格在单位级别进行AI T＆E？也许是这样的。我们必须通过它思考。

他说，T＆E不再被视为一个人，并做出了一个系统必须在部署前必须完成的主张。取而代之的是，它必须被视为一个连续的过程和在系统生命周期中的一个阶段。 

因此，我们确实必须将其视为一种完整的生命周期方法，这是我们可以在设计和开发阶段开始降低和管理风险的地方，一直通过T＆E，一直通过野外，一直通过可持续性，” Shanahan说。” 

他补充说，在美国竞争​​对手造成的风险之前，T＆E的竞争压力将改变游戏规则的技术。 

•如果我们开始说我们将失去对中国的竞争，除非我们尽可能快地将其放在现场，这是有风险的，因为我们会在[战场上]发现系统不按预期工作，而对手总是会投票。他说，他们会试图对抗我们的系统。 

Shanahan现已退休并担任顾问，在新的CNAS报告发布时说：“安全有效：国防部人工智能和自治系统的评估”。 

报告作者和CNAS学者乔什·沃林（Josh Wallin）说，测试AI也是有挑战性的。当国防高级研究计划局（DARPA）测试了其自动驾驶训斗计划，它在数字模拟中这样做，该程序轻松击败了人类飞行员。但是，当他们与人体安全操作员一起将程序置于真实的飞机上时，可以禁用AI，控制并降落飞机时，它突然停止了像在数字模拟器中所做的那样。 

他们真的很快就遇到了这个问题，即``在模拟中对他们感到兴奋的许多新颖行为是因为测试飞行员从一开始就关闭自主权并杀死测试的原因。” 

他解释说，用户接受问题是部署AI的主要挑战，并补充说，该报告的主要建议之一是从开发的角度和从测试的角度来看，早期将操作员及早整合到多么重要。您可以等到进行操作测试开始与操作员进行交谈。您必须比这要早得多。 

沃利斯（Wallis）说，另一个大问题是融合：自治系统如何互动，不仅与友好的操作员和敌军，而且与彼此之间的互动。他说，因为在各种不同的情况组合中测试人工智能是不可行的，所以总会有边缘案件以意外的方式行事，并且由于人类可能会从流程中删除，因此有很多关于如何处理此类情况的问题。” 

`当我们重新部署不同的[无人机系统]，或与不同的[无人体表面车辆]相互部署时，当我们拥有一个[命令和控制]系统时，该系统会整合某种形式的自主权 - 现在我们重新删除了许多操作员的角色？

瓦利斯说，他担心在开发这些系统时，他担心国防部会陷入困境。 

我担心不迅速移动，因为我们将所有内容都重新融合在一起，而不是非常具体地看待实际上使这些系统与众不同的事情。”