英语轻松读发新版了,欢迎下载、更新

开源机器学习系统极易受到安全威胁

2024-12-22 14:29:00 英文原文

作者:Efosa UdinmwenSocial Links NavigationFreelance Journalist

Hacking warning on a computer screen.
(图片来源:Shutterstock / Sashkin)
  • MLflow 被认定为最易受攻击的开源 ML 平台
  • 目录遍历缺陷允许 Weave 中未经授权的文件访问
  • ZenML Cloud 的访问控制问题导致权限升级风险

最近对机器学习 (ML) 框架安全形势的分析表明,与 DevOps 或 Web 服务器等更成熟的类别相比,ML 软件更容易受到更多安全漏洞的影响。

机器学习在各行业的日益普及凸显了保护机器学习系统的迫切需要,因为漏洞可能导致未经授权的访问、数据泄露和操作受损。这

报告JFrog 声称 MLflow 等 ML 项目的关键漏洞有所增加。在过去的几个月里,JFrog 发现了 15 个开源 ML 项目中的 22 个漏洞。 在这些漏洞中,有两类漏洞最为突出:针对服务器端组件的威胁和机器学习框架内的权限升级风险。

机器学习框架中的严重漏洞

JFrog 发现的漏洞影响 ML 工作流程中经常使用的关键组件,这可能允许攻击者利用 ML 从业者通常信任的灵活性工具,获得对敏感文件的未经授权的访问或提升 ML 环境中的权限。

其中一个突出的漏洞涉及 Weave,这是 Weights & Biases (W&B) 的一个流行工具包,它有助于跟踪和可视化 ML 模型指标。WANDB Weave 目录遍历漏洞 (CVE-2024-7340) 使低权限用户能够跨文件系统访问任意文件。

此缺陷是由于处理文件路径时输入验证不当而导致的,可能允许攻击者查看可能包含管理 API 密钥或其他特权信息的敏感文件。这种漏洞可能会导致权限升级,使攻击者能够未经授权访问资源,并危及整个机器学习管道的安全。

ZenML 是一种 MLOps 管道管理工具,也受到一个严重漏洞的影响,该漏洞会损害其访问控制系统。此缺陷允许具有最小访问权限的攻击者在 ZenML Cloud(ZenML 的托管部署)中提升其权限,从而访问受限信息,包括机密机密或模型文件。

订阅 TechRadar Pro 时事通讯,获取您的企业成功所需的所有热门新闻、观点、功能和指导!

ZenML 中的访问控制问题使系统面临重大风险,因为升级的权限可能使攻击者能够操纵 ML 管道、篡改模型数据或访问敏感操作数据,从而可能影响依赖这些管道的生产环境。

另一个严重漏洞,称为 Deep Lake 命令注入 (CVE-2024-6507),是在 Deep Lake 数据库中发现的,该数据库是一种针对优化的数据存储解决方案人工智能应用程序。该漏洞允许攻击者利用 Deep Lake 处理外部数据集导入的方式执行任意命令。

由于命令清理不当,攻击者可能会实现远程代码执行,从而损害数据库和任何连接的应用程序的安全。

Vanna AI 中也发现了一个值得注意的漏洞,Vanna AI 是一款专为自然语言 SQL 查询生成和可视化而设计的工具。Vanna.AI 提示注入 (CVE-2024-5565) 允许攻击者将恶意代码注入到 SQL 提示中,该工具随后会处理这些提示。该漏洞可能导致远程代码执行,允许恶意攻击者瞄准 Vanna AI 的 SQL 到图形可视化功能来操纵可视化、执行 SQL 注入或窃取数据。

Mage.AI是一种用于管理数据管道的MLOps工具,已被发现存在多个漏洞,包括未经授权的shell访问、任意文件泄漏和弱路径遍历检查。

这些问题使攻击者能够控制数据管道、暴露敏感配置,甚至执行恶意命令。这些漏洞的组合带来了特权升级和数据完整性破坏的高风险,从而损害了机器学习管道的安全性和稳定性。

通过获得机器学习数据库或注册表的管理员访问权限,攻击者可以在模型中嵌入恶意代码,从而导致后门在模型加载时激活。当模型被不同的团队和 CI/CD 管道使用时,这可能会影响下游流程。攻击者还可以窃取敏感数据或进行模型中毒攻击,以降低模型性能或操纵输出。

JFrog 的调查结果凸显了 MLOps 安全方面的运营差距。许多组织缺乏将人工智能/机器学习安全实践与更广泛的网络安全策略进行强有力的整合,从而留下了潜在的盲点。随着机器学习和人工智能继续推动行业的重大进步,保护推动这些创新的框架、数据集和模型变得至关重要。

您可能还喜欢

Efosa 撰写有关技术的文章已有 7 年多了,最初是出于好奇心,但现在是出于对该领域的强烈热情。他拥有理学硕士和博士学位,这为他的分析思维奠定了坚实的基础。Efosa 对技术政策产生了浓厚的兴趣,特别是探索隐私、安全和政治的交叉点。他的研究深入研究技术进步如何影响监管框架和社会规范,特别是在数据保护和网络安全方面。加入TechRadar Pro后,除了隐私和技术政策外,他还专注于B2B安全产品。可以通过以下电子邮件联系 Efosa:udinmwenefosa@gmail.com

关于《开源机器学习系统极易受到安全威胁》的评论


暂无评论

发表评论

摘要

JFrog 最近的分析表明,机器学习 (ML) 框架越来越容易受到安全威胁,由于允许未经授权的文件访问的目录遍历缺陷,MLflow 被认为是最容易受到威胁的平台之一。Weave 和 ZenML 还面临影响其服务器端组件和访问控制系统的严重漏洞,从而带来权限升级风险。该报告强调,越来越需要将人工智能/机器学习安全实践强有力地集成到更广泛的网络安全策略中,以保护机器学习框架免受数据泄露和操作受损的影响。