跨企业广泛采用生成式 AI 增加了对意外事件（包括 AI 安全软件）的需求。这是一项艰巨的任务，因为人工智能会进入组织的基础设施，并且数据量巨大，这意味着需要采取广泛的保护措施。这是攻击者被 AI 滥用所吸引的原因之一。
我们检查了九个处理 AI 安全态势管理 (AI-SPM) 的供应商工具。这是一个新兴领域，不幸的是，这意味着大多数产品远未达到应有的全面性或集成性。至少还有九家其他供应商正在积极开发类似产品，这些产品将在未来几个月内全面发布。
人工智能安全态势管理是一种新兴的网络安全学科专注于确保人工智能和机器学习系统的完整性和安全性。AI-SPM 包含用于监控、评估和增强 AI 模型、数据、管道、应用程序和服务安全性的策略、工具和技术，即使这些实体面临的威胁不断演变。
过去，安全态势管理工具是针对两种不同的情况而设计的：保护一般云操作免受错误配置和滥用，这是云安全态势管理工具的职责范围；并防止数据泄露或恶意软件感染，这是数据安全态势管理工具的职责范围。随着 AI 和大型语言模型 (LLM) 的兴起，需要第三个产品类别来检查托管 AI 云服务及其 SDK（例如 Hugging Faces Transformers 或 Azure Open AI SDK）的实例，并防止模型滥用.
关于不安全的人工智能使用的早期报告是严峻的。Kong 的一项研究发现，大多数受访者都找到了绕过其组织对人工智能使用限制的方法，其中四分之一的人没有任何指导方针。MITRE 根据现实世界的攻击观察，开发了一个全面的对手战术数据库，称为人工智能系统对抗威胁景观或 ATLAS。麻省理工学院的研究人员已经建立了一个数据库，其中包含他们从各种人工智能来源观察到的 700 多种人工智能相关风险。与人工智能相关的攻击方法的另一个重要来源是开放全球应用程序安全项目 (OWASP)，该项目去年发布了最新的十大大型语言模型漏洞列表。这些都是值得付出的努力，安全经理应该在选择任何 AI-SPM 产品之前对其进行检查。
例如，AI 模型中使用的训练数据可能会受到攻击或注入不良数据，从而导致攻击或注入不良数据。可以用来操纵其结果，例如 Jfrog 的研究人员在 2 月份发现的 100 多个模型可以在受害者计算机上执行代码以创建恶意后门。
AI-SPM 旨在保护企业网络和应用程序免受这些威胁和其他威胁。Forrester 分析师 Andras Cser 向 CSO 表示，就像现代企业不会在没有适当防火墙的情况下组建网络一样，AI-SPM 可确保 AI 模型保持可解释、公平、负责、透明和公平。进一步良好的安全卫生要求人工智能基础设施不应被用作黑客横向移动和数据泄露的垫脚石，并且应包括防止和修复配置漂移的策略。
所有 AI-SPM 都利用无代理配置，访问基于云的模型并将数据保留在现有平台上。这既是一种安全措施，也是为了避免移动所涉及的海量数据存储库。
AI-SPM 供应商还利用人工智能相关机制对这些海量数据集合进行分类，以跟踪和保护数据免受潜在威胁。虐待和攻击。其中一些供应商已将其 AI-SPM 与其现有的云或数据 SPM 集成，并提供规则、合规性检查、最佳实践和保护策略，以桥接所有三种类型的安全态势。
一些供应商提供更全面的服务解决方案包括各种与人工智能相关的安全措施，包括保护人工智能管道和工作负载、识别人工智能模型引用的敏感数据、检查培训数据是否有第三方或外部应用程序的任何更改以及共享人工智能的方式服务和平台可能会受到损害。
一些供应商只是对每个大公司的一两个服务进行顶层检查。三个云平台人工智能服务（例如亚马逊有十多个人工智能相关服务产品），而其他云平台（例如Securiti和Protect AI）则更深入地研究并对来自人工智能供应商的人工智能数据进行更全面的检查
最后，一些供应商一直活跃在开源世界中，例如 Protect AI，它拥有四个商业工具中三个的开源版本，以及 Orcas GOAT，一个免费的工具基于 OWASP 十大风险的学习平台。
我们要求九家安全供应商展示他们的 AI 相关工具。供应商从不同的方向接触 AI-SPM。Protect AI 从头开始构建了 AI SPM，这是数据和云 SPM 中功能的超集。Palo Alto Networks、Wiz、Securiti 和 Orca 等公司通过将其现有的姿势平台与综合人工智能工具集成和扩展，占据了领先地位。Microsoft、Cyera.io 和 Varonis 等其他公司则不太完善，也在扩展其数据或云 SPM。Legit Security 通过 AI-SPM 扩展了其通用应用程序安全工具。以下是有关每一项的更多详细信息。
Cyera.io 专门从事数据文件级别分类。他们有一款 DSPM 产品，它添加了您可能认为的人工智能丰富的数据链路保护，作为默认产品功能的一部分。他们还提供了一个用于 Microsoft Copilot 数据扫描的专用模块，例如可以检测内部人员使用的数据。
LegitSecurity 开始保护应用程序工作负载，并将其平台扩展到 AI 态势管理。他们检查人工智能模型、代码存储库、加密秘密和其他人工智能相关实例，并生成风险评分以集中缓解工作。例如，您可以使用他们的工具来跟踪哪些用户正在使用 Githubs copilot 服务或使用质量较差或不安全的 AI 模型。预安装了十几个用于跟踪 AI 状态的预构建策略，并且通过交互式模块可以更轻松地创建新策略，类似于在其他安全产品中构建防火墙规则的方式。
Microsoft Defender云安全态势管理将人工智能功能作为其公共预览版的一部分，预计将于 2024 年底推出成品版本。人工智能功能已集成到其云 SPM 产品中。客户需要设置最低权限访问权限才能扫描 AWS Bedrock 服务。它还将扫描 Azure OpenAI 和机器学习服务，这意味着比本次综述中的其他供应商提供的服务更少（预计年底也会支持 Google Cloud）。它计划扫描私有 Azure 端点是否存在错误配置和漏洞。
Orca Security 拥有一个单一的多用途安全平台，可提供 CNAPP 和 DSPM 保护，这使得其附加的 AI 功能非常全面。它可以扫描 50 多种不同的 AI 模型源，并从 Pytorch 和 TensorFlow 等常见 AI 工具收集资产清单，以创建材料的软件构建。它附带了数十条最佳实践安全规则，最初侧重于合规性。当在模型内部检测到敏感数据（包括内部训练数据存储库）以及秘密被泄露时，它还会发出警报。
Palo Alto Networks 去年收购了 Dig Security，现在已完全合并并重新命名为Prisma 云 AI-SPM。它支持对 Amazon、Google Cloud 和 Azure AI 服务进行顶级扫描，以发现 AI 内容，并可以对模型数据和秘密进行分类和检查，并附带许多内置的 AI 相关策略。
Protect AI 具有从头开始构建了一个全面的人工智能姿势工具。它由一系列单独定价的工具组成，用于执行特定任务。还有一系列可供免费试用的开源产品，您会想要检查这些产品，因为可供购买的工具均起价 200,000 美元，可提供无限的席位和扫描。Guardian 是他们的扫描工具，用于检查模型漏洞并设置安全策略。Radar 提供端到端可见性和治理功能。Recon 是从 SydeLabs 收购的，负责自动红队和漏洞检测，特别针对 LLM 端点。最后，Sightline 提供了与 AI 相关的漏洞源。
Securiti 通过 AI 防护功能扩展了其 DSPM 产品，包括一系列涵盖数据和 AI 环境的预构建集成规则和策略、自动发现人工智能模型和数据流映射。它还包括对各种 AWS 服务的深入了解。
Varonis 拥有一个单一的多用途安全平台，该平台来自强大的 DSPM 背景，并添加了 AI 态势，以帮助开发团队对 AI 中使用的数据进行分类生态系统，例如扫描不良人工智能行为、不当利用身份以及检查数据流。该工具还内置了自动修复流程。它不像其他一些解决方案那样完整，因为它不会深入扫描所有 AWS 或 Azure AI 相关服务，也不会扫描专有的 AI 数据存储。有一个用于扫描 Microsoft Copilot 的额外费用模块，他们计划在不久的将来为 Salesforce Einstein 和 Google Gemini 添加其他模块。
Wiz 拥有一个单一的多用途安全平台，该平台来自强大的姿势管理（云和数据）背景。其高级版本增加了一系列全面的人工智能相关策略、检测算法、管道、模型和数据扫描仪。这些被组装到一个单独的人工智能仪表板页面中。它还可以检测 AI 管道滥用情况，以图形方式映射依赖关系并建议补救步骤。
AI-SPM 的定价和包装差异很大。许多供应商提供为期一个月的免费试用（AWS Marketplace 上也提供此选项）。我们在上述供应商简介中指出了开源替代方案，这也是了解产品如何工作的好方法。
低端是 Legit Securitys 定价，反映了其应用程序安全传统：50 美元/mo/developer 实例，可享受数量折扣。大多数其他供应商以六位数的年度合同出售 SPM。例如，Protect AI 单独销售其四个模块，起价为 225,000 美元/年，并提供捆绑折扣。
大多数供应商不想直接提供定价，而是在 AWS Marketplace 上发布了定价。Securiti 将其产品即服务定价为每个运行实例每小时 3 美元。Microsoft 对 Defender 有类似的按资源定价计划。Palo Alto Networks Prisma Cloud/Enterprise 有一项计划，涉及复杂的积分购买，每年 18,000 美元起。
Varonis 有两个组成部分：每个受保护应用程序的每个用户的价格以及资源消耗的额外价格。对于拥有 1,000 名用户的典型情况，每年的总数可能会在六位数的范围内。
其他 AI-SPM 供应商有固定的年度合同，如下所示，并附有其市场描述的链接：Cyera、Orca Security（84,000 美元至 360,000 美元，具体取决于工作负载大小）和 Wiz Advanced（38,000 美元）。