网络安全研究人员发现了 15 个不同的机器学习 (ML) 相关开源项目中的近两打安全漏洞。
软件供应链安全公司 JFrog 在上周发布的一份分析中表示，这些漏洞包括在服务器端和客户端发现的漏洞。
服务器端的弱点“允许攻击者劫持组织中的重要服务器，例如 ML 模型注册表、ML 数据库和 ML 管道”。说。
在 Weave、ZenML、Deep Lake、Vanna.AI 和 Mage AI 中发现的漏洞已细分为更广泛的子类别，允许远程劫持模型注册表、ML 数据库框架和接管 ML Pipelines。
已识别缺陷的简要描述如下 -
- CVE-2024-7340（CVSS 评分：8.8） - Weave ML 工具包中的目录遍历漏洞，允许读取整个文件系统中的文件，有效地允许低权限的经过身份验证的用户通过读取名为“api_keys.txt”的文件将其权限升级到管理员角色。IBD”（参见版本0.50.8）
- ZenML MLOps 框架中存在不正确的访问控制漏洞，允许有权访问托管 ZenML 服务器的用户将其权限从查看者提升到完全管理员权限，从而使攻击者能够修改或读取秘密存储（无 CVE 标识符）
- CVE-2024-6507（CVSS 评分：8.1） - Deep Lake 面向 AI 的数据库中存在一个命令注入漏洞，由于缺乏适当的输入清理，攻击者可以在上传远程 Kaggle 数据集时注入系统命令（已在版本3.9.11）
- CVE-2024-5565（CVSS 评分：8.1） - Vanna.AI 库中的提示注入漏洞可能会被剥削实现底层主机远程代码执行
- CVE-2024-45187（CVSS 评分：7.1） - 一个不正确的权限分配漏洞，允许 Mage AI 框架中的来宾用户通过 Mage AI 终端服务器远程执行任意代码，因为他们已被分配了高权限并在默认时间内保持活动状态尽管删除，仍保留 30 天
- CVE-2024-45188,CVE-2024-45189， 和CVE-2024-45190（CVSS 分数：6.5） - Mage AI 中的多个路径遍历漏洞允许具有“查看者”角色的远程用户通过“文件内容”、“Git 内容”和“管道交互”请求从 Mage 服务器读取任意文本文件， 分别
JFrog 表示：“由于 MLOps 管道可能可以访问组织的 ML 数据集、ML 模型训练和 ML 模型发布，因此利用 ML 管道可能会导致极其严重的漏洞。”
“本博客中提到的每种攻击（ML 模型后门、ML 数据中毒等）都可能由攻击者执行，具体取决于 MLOps 管道对这些资源的访问权限。
该披露是在该公司两个月后发布的裸露超过 20 个可被利用来针对 MLOps 平台的漏洞。
它还发布了代号为螳螂利用即时注入作为对抗网络攻击的方法大型语言模型 (LLM)，其有效性超过 95%。
乔治梅森大学的一组学者表示：“在检测到自动网络攻击后，Mantis 会精心设计输入到系统响应中，从而导致攻击者的 LLM 扰乱他们自己的操作（被动防御），甚至危及攻击者的机器（主动防御）”大学说。
“通过有目的地部署易受攻击的诱饵服务来吸引攻击者，并为攻击者的 LLM 使用动态提示注入，Mantis 可以自动攻击攻击者。”