LatticeFlow的LLM框架首次尝试评估大型AI对欧盟人工智能法案的合规性 | TechCrunch

虽然大多数国家的立法者仍在讨论如何为人工智能制定监管框架，欧盟已经走在了前列，在今年早些时候通过了一套基于风险的人工智能监管框架。

该法律生效八月尽管欧盟范围内的人工智能治理制度的具体细节仍在制定中——操作规程正在制定中例如。但是，在未来几个月和几年里，《法律》分阶段的规定将开始适用于AI应用程序和模型的开发者，因此合规倒计时已经开始并正在运行。

评估AI模型是否以及如何履行其法律义务是下一个挑战。大型语言模型（LLM）以及其他所谓的基础或通用人工智能将支撑大多数AI应用程序。因此，在这一层的AI堆栈上集中评估努力似乎很重要。

向前走一步LatticeFlow AI，由公立研究型大学苏黎世联邦理工学院（ETH Zurich）分拆出来，专注于人工智能风险管理与合规。

周三，它发布了一项自称是欧盟《人工智能法案》的第一个技术解读，这意味着它试图将监管要求映射到技术要求上，并且还发布了一个开源的大语言模型验证框架，该框架借鉴了这项工作——它将其称为Compl-AI（“compl-ai”……看他们那里做了什么！）

AI模型评估倡议——他们也称之为“首个面向监管的大型语言模型基准测试套件”——是瑞士联邦理工学院和保加利亚计算机科学、人工智能与技术研究所（INSAIT）长期合作的结果，据LatticeFlow报道。

AI模型制作人可以使用Compl-AI网站来请求评估他们的技术符合欧盟人工智能法案的要求。

LatticeFlow 还发布了多个主流大语言模型的评估，例如 Meta 的不同版本/大小的 LLaMA 模型和 OpenAI 的 GPT，以及一个欧盟AI法案合规排行榜为大型AI。

后者根据从0（即不合规）到1（完全合规）的评分标准，评估了Anthropic、Google、OpenAI、Meta和Mistral等公司模型的表现是否符合该法律的要求。

其他评估在缺乏数据或模型制作者未提供该功能的情况下标记为N/A。（注意：撰写本文时也有一些负分记录，但我们被告知这是Hugging Face界面中的一个bug。）

LatticeFlow的框架根据27个基准对LLM响应进行评估，例如“良性文本的毒性完成”，“偏见回答”，“遵循有害指令”，“真实性”和“常识推理”等几个基准类别。因此，每个模型在每一列中都获得一系列分数（或否则为N/A）。

人工智能合规情况参差不齐

那么主要的大型语言模型表现如何？没有总体的模型得分。因此，性能会根据具体评估的内容而有所不同——但是在各种基准测试中有一些值得注意的好成绩和差成绩。

例如，在不遵循有害指令方面，所有模型的表现都很强；而在不产生偏见答案方面，几乎所有模型的表现都相对较强——而推理和通用知识得分则参差不齐。

在其他地方，框架用作公平性衡量标准的推荐一致性对于所有模型都非常低——没有一个模型得分超过中间值（大多数模型得分远低于中间值）。

其他领域，如训练数据的适用性以及水印的可靠性和鲁棒性，由于许多结果被标记为不适用（N/A），似乎基本上没有经过评估。

LatticeFlow 注意到在某些领域评估模型的合规性更为困难，例如像版权和隐私这类敏感问题。因此它并不声称拥有所有答案。

在详细介绍该框架的一篇论文中，参与该项目的科学家们强调，他们评估的大多数较小的模型（参数量≤130亿）“在技术鲁棒性和安全性方面表现较差”。

他们还发现，“几乎所有的检查模型都难以达到高水平的多样性、非歧视性和公平性”。

“我们认为，这些不足主要是由于模型提供商过度关注提升模型能力，而忽视了欧盟《人工智能法案》监管要求中其他重要的方面，”他们补充道，并暗示随着合规截止日期的临近，大型语言模型的制造商将被迫将其重点转移到值得关注的领域——“从而实现对大型语言模型更为均衡的发展”。

鉴于目前尚无人确切知道遵守欧盟《人工智能法案》需要什么，LatticeFlow的框架必然还是一个正在进行中的工作。这也是对该法律要求如何转化为可衡量和比较的技术输出的一种解读。但这为探究强大自动化技术并试图引导其开发者走向更安全、更有益的方向提供了一个有趣的起点，并且这将是一项需要持续进行的努力。

“该框架是向全面以合规为中心的欧盟《人工智能法案》评估迈出的第一步——但它被设计为可以轻松更新，以便与法案的更新同步，并随着各个工作组的进展而不断完善，”LatticeFlow首席执行官Petar Tsankov 告诉TechCrunch。“欧盟委员会支持这一点。我们期望社区和行业继续发展该框架，使其成为全面且综合的人工智能法案评估平台。”

总结到目前为止的主要要点，Tsankov表示很明显AI模型“主要是为了能力而不是合规性进行了优化”。他还指出了“显著的性能差距”，指出在合规性方面，一些高能力的模型可能与较弱的模型相当。

Tsankov指出，在模型层面，网络攻击抵抗能力和公平性是特别值得关注的领域，许多模型在网络攻击抵抗能力方面的得分低于50%。

他说：“尽管Anthropic和OpenAI已经成功地将其（封闭的）模型调整为能够抵御破解和提示注入攻击，开源供应商如Mistral在这方面则较少关注。”

而由于“大多数模型”在公平性基准测试中表现同样糟糕，他建议未来的工作应优先考虑这一点。

在评估大型语言模型（LLM）在版权和隐私等领域的性能基准时，Tsankov解释说：“对于版权问题的挑战在于当前的基准测试仅检查涉及特定书籍的版权。这种方法有两个主要限制：(i) 它没有考虑到可能涉及除这些具体书籍之外的其他材料的潜在版权侵犯；(ii) 它依赖于量化模型记忆的能力，而这一直是非常困难的。”

“对于隐私而言，挑战是类似的：基准测试仅尝试确定模型是否记住了特定的个人信息。”

LatticeFlow希望这个免费且开源的框架能够被更广泛的AI研究社区采纳并得到改进。

“我们邀请AI研究人员、开发者和监管机构加入我们，共同推进这个不断发展的项目，”苏黎世联邦理工学院（ETH Zurich）的马丁·韦切夫教授兼INSAIT创始人及科学总监在一份声明中表示。“我们鼓励其他研究团队和从业人员通过完善《人工智能法案》映射关系、增加新的基准测试以及扩展这一开源框架来做出贡献。”

“该方法也可以扩展，用于评估AI模型是否符合欧盟人工智能法案之外的未来监管法规，使其成为跨不同司法管辖区工作的组织的宝贵工具。”