在美国政府关于AI安全的未发表报告

去年10月，在弗吉尼亚州阿灵顿举行的安全会议，数十名AI研究人员参加了红色团队，或压力测试尖端语言模型和其他其他练习人工智能系统。在两天的时间里，团队确定了139种新型方法，以使系统表现不佳，包括产生错误信息或泄漏个人数据。更重要的是，他们在新的美国政府标准中表现出缺点，旨在帮助公司测试AI系统。

美国国家标准技术研究所（NIST）没有发布一份详细介绍该练习的报告，该报告已在拜登政府结束时完成。该文件可能帮助公司评估了自己的AI系统，但是熟悉情况的消息来源，他们在匿名状态上发表了交谈，他说这是NIST的几个AI文件之一，因为他们担心与即将到来的政府发生冲突而没有发布。（连线正在完整发布报告这里）。

当时在NIST的消息人士说，即使在[乔总统]拜登（Joe Biden）的情况下，也变得非常困难。”感觉就像气候变化研究或香烟研究。

NIST和商务部都没有回应置评请求。

上任之前，唐纳德·特朗普总统表示他计划逆转Biden的AI行政命令。从那以后，特朗普的政府引导专家远离学习AI系统中的算法偏见或公平性等问题。这人工智能行动计划7月发布，明确呼吁对NIST的AI风险管理框架进行修订，以消除对错误信息，多样性，公平和包容性以及气候变化的参考。”

具有讽刺意味的是，特朗普的AI行动计划还呼吁确切的练习涉及未发表的报告。它呼吁众多机构和NIST协调AI Hackathon倡议，以征集美国学术界最优秀和最聪明的人，以测试AI系统的透明度，有效性，使用控制和安全脆弱性。”

红色团队活动是通过NIST评估AI（ARIA）计划的风险和影响的人Huanane Intelligence（Humane Intelligence）的，该公司专门研究AI系统的公司SEAD团队攻击工具。该活动发生在有关信息安全性应用机器学习会议上（CAMLIS）。这

CAMLIS RED TEAMENING报告描述了探究多个尖端AI系统的努力，包括Llama，Meta的开源大语言模型；Anote，一个用于构建和微调AI模型的平台；一种阻止对AI Systems的攻击的系统，该系统是由Cisco收购的一家公司的Robust Intelligence；以及一个从公司合成中生成AI头像的平台。来自每个公司的代表也参加了这项工作。

要求参与者使用NIST AI 600-1评估AI工具的框架。该框架涵盖了风险类别，包括产生错误信息或网络安全攻击，泄漏有关相关AI系统的私人用户信息或关键信息，以及用户有可能在AI工具上情绪化的潜力。