生成式AI在安全方面的风险及缓解策略

生成式人工智能在ChatGPT发布后一夜之间成为了科技界的最热门术语。两年之后，微软正在使用OpenAI的基础模型，并且客户也在询问人工智能如何改变安全格局。

微软高级云解决方案安全架构师Siva Sundaramoorthy经常回答这些问题。这位安全专家于10月14日在拉斯维加斯的ISC2会议上，向一群网络安全专业人士概述了生成式人工智能——包括其优势和安全风险。

使用生成式AI会带来哪些安全风险？

在他的演讲中，Sundaramoorthy讨论了人们的担忧之情关于生成式AI的准确性他强调，这项技术作为一个预测工具，选择它认为最有可能的答案——尽管根据上下文其他答案也可能正确。

网络安全专业人士应从三个角度考虑人工智能的应用场景：使用、应用和平台。

“你需要理解你想要保护的是哪种使用场景，”Sundaramoorthy说。

他补充说：“许多开发者和公司里的人都会在这个中心的应用类别中，人们正在这个应用里创建应用程序。每个公司在其环境中都有一个机器人或预训练的AI。”

参见：AMD公布了其竞争对手的产品上周发布了针对英伟达强大AI芯片的竞争产品，硬件大战仍在继续。

一旦确定了使用场景、应用和平台，可以像保护其他系统一样保护AI——尽管并非完全相同。与传统系统相比，生成式AI更有可能出现某些风险。Sundaramoorthy列举了七个采用风险，包括：

• 偏见。
• misinformation.
• 欺骗。
• 缺乏问责制。
• 过度依赖。
• 知识产权权利。
• 心理影响。

AI提供了独特的威胁地图，对应于上述三个角度：

• 在安全领域使用人工智能可能导致敏感信息泄露、第三方基于大语言模型的应用或插件带来的影子IT问题，或是内部威胁风险。
• 在安全领域中应用人工智能可能会带来即时注入、数据泄露或入侵以及内部威胁等风险。
• 人工智能平台可以通过数据投毒、针对模型的拒绝服务攻击、窃取模型、模型逆向工程或幻觉等问题引入安全问题。

攻击者可以使用诸如提示转换器之类的策略——利用混淆、语义陷阱或明确的恶意指令来绕过内容过滤器，或者使用越狱技术。他们有可能利用AI系统并污染训练数据，执行提示注入，利用不安全的插件设计，发起拒绝服务攻击，或将使AI模型泄露数据。

“如果AI连接到另一个系统，连接到可以在其他系统中执行某些代码的API会怎样？”桑达拉莫塞瓦问道。“你可以欺骗AI为你创建一个后门吗？”

安全团队必须权衡AI的风险和益处

桑达拉莫orthy使用微软的Copilot经常使用它，并发现这对他的工作很有价值。然而，他说：“对于黑客来说，攻击它的价值太高了，不会放过。”

安全团队应关注的人工智能相关的其他痛点包括：

• 引入新技术或设计决策会带来脆弱性。
• 用户必须接受培训以适应新的人工智能能力。
• 使用AI系统访问和处理敏感数据会带来新的风险。
• 透明度和控制必须在整个AI生命周期中建立并保持。
• 人工智能供应链可能引入脆弱或恶意代码。
• 缺乏 established 的合规标准和最佳实践的迅速演变使得如何有效地保障人工智能的安全变得不清楚。注意这里的 "established" 保留了英文原词，因为它可能指的是“公认的”或“成熟的”，在中文中直接翻译可能会失去其特定含义。如果需要更自然的表达可以调整为：“缺乏成熟的合规标准和最佳实践的快速演变，使得如何有效保障人工智能的安全变得不明朗。”
• 领导层必须自上而下建立一条通往生成式人工智能集成应用的信任路径。
• AI带来了独特且难以理解的挑战，例如幻觉。
• 人工智能的实际回报率尚未在现实世界中得到证明。

此外，桑达拉莫orthy解释说，生成式人工智能可能会以恶意和非恶意的方式失败。恶意的失败可能涉及攻击者通过假装是安全研究人员来绕过AI的安全措施，从而提取敏感信息，如密码。非恶意的失败可能是由于训练数据过滤不当，导致有偏见的内容无意中进入了AI的输出。

可信的方法来保障AI解决方案的安全性

尽管围绕人工智能存在不确定性，但仍有一些经过验证的方法可以以相对全面的方式确保人工智能解决方案的安全。标准组织如NIST和OWASP提供了用于处理生成式人工智能的风险管理框架。MITRE发布了ATLAS矩阵，这是一个已知的攻击者针对AI使用的策略和技术库。

此外，微软提供了治理和评估工具，安全团队可以使用这些工具来评估AI解决方案。谷歌提供其自己的版本，即安全人工智能框架。

组织应通过充分的数据清理和净化来确保用户数据不会进入训练模型的数据。他们应该应用最小特权原则在微调模型时。连接模型到外部数据源时应使用严格的访问控制方法。

最终，桑达拉莫orthy表示，“网络安全的最佳实践也是人工智能的最佳实践。”

使用AI——或者不使用AI

完全不使用AI呢？在ISC2安全大会开幕式主旨演讲中发言的作者兼AI研究者詹奈尔·肖恩指出，由于AI带来的风险，安全团队的一个选项是根本不使用AI。

桑达拉莫orthy采取了不同的方法。他表示，如果AI能够访问组织中应该与外部应用程序隔离的文档，“那不是AI的问题。那是访问控制的问题。”

免责声明：ISC2为我支付了前往拉斯维加斯参加于10月13日至16日举行的ISC2安全大会的往返机票、住宿费以及部分餐费。