根据一项新研究，一些世界顶级人工智能实验室的安全措施不足，其中最严重的是埃隆·马斯克的 xAI。
法国非营利组织 SaferAI 周三发布了第一份评级，评估顶级人工智能公司的风险管理实践。SaferAI 的创始人西蒙·坎波斯 (Simon Campos) 表示，评级的目的是为人工智能公司如何应对这些新生系统的功能和使用不断增长的风险制定明确的标准。人工智能系统已经展示了它们匿名攻击网站或帮助人们开发生物武器的能力。各国政府在制定框架方面进展缓慢：加利福尼亚州一项监管人工智能行业的法案刚刚被州长加文·纽瑟姆否决。
坎波斯表示，人工智能是一种发展极其迅速的技术，但人工智能风险管理却没有以同样的速度发展。只要我们没有政府自己进行评估，我们的评级就可以填补一个漏洞。为了对每家公司进行评分，SaferAI 的研究人员评估了红队模型技术工作以发现缺陷和漏洞，以及公司对威胁建模和降低风险的策略。
在评分的六家公司中，xAI 排名最后，得分为 0/5。Meta 和 Mistral AI 也被贴上了风险管理非常薄弱的标签。OpenAI 和 Google Deepmind 的评分较低，而 Anthropic 的评分为 2.2（满分 5 分），处于领先地位。
了解更多：埃隆·马斯克的人工智能数据中心发出警报。
Campos 表示，xAI 得分最低，因为他们几乎没有发表任何有关风险管理的内容。他希望公司能够将注意力转向风险，因为其型号 Grok 2 正在与 Chat-GPT 和其他系统竞争。我的希望是这是暂时的：他们将在接下来的六个月内发布一些东西，然后我们可以相应地更新他们的成绩，他说。坎波斯表示，评级可能会给这些公司带来改善内部流程的压力，这可能会减少模型偏差，减少错误信息的传播，或者使它们不易被恶意行为者滥用。坎波斯还希望这些公司采用核电、生物安全和航空安全等高风险行业所采用的一些相同原则。他表示，尽管这些行业处理的对象截然不同，但它们的原则和风险管理框架非常相似。
SaferAI 分级框架旨在与世界上一些最重要的人工智能标准兼容，包括欧盟人工智能法案和七国集团广岛进程制定的标准。SaferAI 是美国人工智能安全联盟的一部分，该联盟由白宫于二月份创建。该非营利组织主要由科技非营利组织 Founders Pledge 和投资者 Jaan Tallinn 资助。
约书亚·本吉奥 (Yoshua Bengio) 是人工智能领域最受尊敬的人物之一，他对评级系统表示认可，他在一份声明中写道，他希望该系统能够保证模型[公司]开发和部署的安全性，我们不能让他们对自己的作业进行评分.
更正，10 月 2 日：这个故事的原始版本错误地描述了 SaferAI 如何对公司进行评级。其研究人员评估了模型的“红队”程序；他们没有进行自己的红队。
通过 letter@time.com 联系我们