使用MLSecOps构建安全的人工智能 - Help Net Security

在此Help Net Security采访中，Ian Swanson，Incident IQ公司的首席执行官保护人工智能讨论了“设计安全的人工智能”这一概念。通过采用机器学习安全操作（MLSecOps）等框架并注重透明性，组织可以构建既安全又值得信赖的韧性人工智能系统。

“设计安全的AI”的理念正变得越来越突出。在实践中这会是什么样子？你能给出具体例子说明组织如何能在AI开发的最早阶段嵌入安全性吗？

确保人工智能系统安全、可靠和可信，首先需要从底层开始构建安全的AI/ML系统。在AI开发中嵌入安全性要求解决独特的威胁，从模型序列化攻击到大型语言模型越狱。

组织可以首先通过使用机器学习材料清单（MLBOM）来编制其机器学习模型和环境的目录，并持续扫描漏洞。

机器学习模型，作为人工智能应用的核心，可能在开发生命周期的多个阶段都存在脆弱性并引入风险。2024年4月，美国网络安全局发布了关于安全部署AI系统的联合指导意见，其中包括警告不要立即在企业环境中运行模型，并建议使用专门针对AI的扫描工具来检测潜在的恶意代码。在整个CI/CD（持续集成和持续交付）管道中，在生命周期的每个步骤对机器学习模型进行恶意代码扫描至关重要。这种持续的风险评估可以确保模型在其整个生命周期中的任何阶段都不会受到损害。

一种安全的方法也包括对机器学习工程师和数据科学家进行安全编码实践的培训，严格执行访问控制，并避免使用不安全的Jupyter笔记本作为开发环境。实施以代码为中心的方法确保在整个AI管道中具有可见性和问责制。

最后，建立红队能力有助于测试人工智能应用程序中的漏洞，例如提示注入攻击。采用MLSecOps方法，安全、数据科学和运营团队之间的协作可以创建能够抵御新兴威胁的弹性AI系统。

组织在设计安全的人工智能系统时，根据NCSC或MITRE等框架应考虑哪些关键原则？

为了根据NCSC、MITRE、NIST和OWASP等框架中概述的关键原则设计安全的AI系统，组织应专注于透明度和可审计性，遵守隐私法规如通用数据保护条例确保进行彻底的风险评估。保护训练数据，持续监控模型以发现漏洞，并应对供应链威胁是至关重要的。

此外，采用如红队测试、威胁建模以及遵循安全开发生命周期（例如MLSecOps）等实践将有助于保护AI系统免受新兴的安全风险。

随着AI系统被更广泛地采用，你看到了哪些新的或新兴的威胁？组织应该如何最好地为这些不断演变的风险做好准备？

随着人工智能系统的广泛应用，我们在供应链中看到了新兴的威胁，机器学习模型中隐藏的隐形攻击，以及生成式AI应用程序被攻破的情况，导致了技术、运营和声誉方面的企业风险。

组织可以通过采用稳健的MLSecOps策略来最好地进行准备，将安全措施早期融入AI生命周期中，持续扫描机器学习模型和人工智能应用程序以发现风险，并通过如MLSecOps基础课程等培训项目教育团队。通过更新构建流程以包含设计时的安全性通过使用特定于AI的安全解决方案并提升AI安全知识，组织可以建立应对不断演变威胁的韧性。AI/ML威胁.

公共部门组织通常处理关键基础设施和敏感数据，它们应该如何在人工智能安全方面与私营部门有所不同？

负责关键基础设施和敏感数据的公共部门组织必须比私营部门更加谨慎地对待人工智能安全问题。数据泄露可能带来的后果——如对国家安全、公共安全或基本服务的破坏——要求采取更为积极主动的态度。

这些组织应采用更严格的合规框架，例如NIST指南或特定的政府指令（如FedRAMP）来确保云安全，实现端到端加密和强大的访问控制。此外，公共部门实体需要在开发初期遵循“设计时安全”的原则构建AI模型，注重透明度和可审计性。

公共部门的AI系统也应该有强大的事件响应计划，以迅速应对新的漏洞。定期进行红队测试、威胁建模和跨机构协作是减轻风险的关键。事实上，我们与各种政府机构的合作帮助它们配备了针对安全的AI/ML开发和应对新兴威胁量身定制的MLSecOps流程。

我亲自参与了开发用于保护政府环境中人工智能系统的标准和建议，帮助公共部门组织领先于不断演变的风险。

通过参与这些协作努力并采用以安全为先的方法，公共部门可以有效保护其关键的AI系统。

可解释性和透明度越来越被视为人工智能安全性的核心要素。组织如何确保其人工智能系统对利益相关者来说是安全且可解释的？

为了确保人工智能系统既安全又可解释，组织必须实施透明的模型开发和治理实践。首先，他们应该采用使模型决策可解释的框架，例如通过使用可解释的人工智能（XAI）技术来阐明输出是如何得出的。此外，采用MLSecOps方法可以持续监控系统的行为，增强其安全性和透明度。

数据科学家、安全团队和业务利益相关者之间的合作至关重要——确保风险、限制和决策能够以非技术利益相关者可以理解的方式进行沟通。

最后，组织应当记录模型的训练数据、假设和决策路径，以提供问责制和可追溯性，帮助利益相关者信任系统的输出。