Qualys TotalAI：从 LLM 扫描仪到全面 AI 安全解决方案的旅程 |Qualys 安全博客

踏上 AI/ML 之旅

的推出Qualys TotalAI标志着我们人工智能/机器学习之旅的一个重要里程碑。这一切都始于 2024 年 3 月，当时我们涉足快速发展的 AI/ML 领域和新兴的法学硕士生态系统。认识到这些技术彻底改变网络安全的潜力，我们开始探索它们的应用。当时，像 LangChain、ChainLit、Ollama、OpenLLM 等工具越来越受欢迎，我们渴望利用它们的功能。

我们最初的重点很简单：总结和问答。早期的成功激励我们进一步探索推理能力，使模型能够揭示超出所提供的显式数据的见解。对 AI/ML 的深入研究拓展了我们的理解并揭示了更广泛的应用。

随着探索的继续，我们深入研究了检索增强生成 (RAG) 和相关工具等先进概念，为 AI/ML 系统奠定了坚实的基础。一个关键的转折点来自于以下见解：OWASP，这重塑了我们的方法。与网络安全领域的许多人一样，我们面临着评估人工智能/机器学习和法学硕士安全性的挑战——我们的客户也面临着同样的挑战。这是一个法学硕士扫描仪事实证明，它的价值无可估量，可以让团队充满信心地解决复杂的 AI/ML 安全需求。

2024 年 2 月，OWASP 发布了他们的 –法学硕士人工智能网络安全与治理清单，强调了对法学硕士专用安全扫描仪的需求，并提高了对这些新技术的网络安全意识。虽然这篇论文是在我们的旅程开始之前就发布的，但我们是在开始努力之后才遇到的。这个关键时刻引导我们从简单的用例转向更雄心勃勃的目标：创建一个全面的法学硕士扫描仪，可以帮助保护 Gen-AI 系统。

需要概念验证

为了开发有效的法学硕士扫描仪，我们为概念验证 (POC) 设定了明确的目标。主要目标是识别和评估法学硕士的漏洞。成功标准包括检测已知漏洞、生成反映严重性和影响的准确风险评分，以及确保评估的一致性。POC 还需要展示可扩展性以及与现有工作流程的无缝集成，同时保持解决方案的轻量级和高效。

从漏洞扫描到AI安全

在 Qualys，我们的历史在于漏洞管理。此后，我们不断发展，提供强大的解决方案平台，包括行业领先的 Web 应用程序和主机级漏洞扫描解决方案。在 OWASP 的指导下，我们决定将我们的安全专业知识应用于新兴的法学硕士领域。我们的目标是开发一款人工智能/机器学习扫描仪，帮助保护不断发展的法学硕士应用生态系统。这种转变要求我们重新思考漏洞管理方法，调整传统安全概念以适应 AI/ML 模型带来的独特挑战。当我们探索不同的可能性时，我们面临着多重挑战。最初，我们的方法是将 LLM 检测添加到 API 安全性中。然而，我们很快意识到创建专用模块来整合不同级别的所有功能的价值。一个重大挑战是如何将虚拟机风险与内部用例的人工智能风险关联起来，这需要更深入地了解基础设施漏洞和人工智能/机器学习模型固有的风险，以提供统一的风险评估。

我们从OWASP 法学硕士申请前 10 名，重点关注漏洞，例如及时注射,不安全的输出处理,模型盗窃，等等。最初，我们生成了基本的提示和问题来评估目标法学硕士，例如Φ2和骆驼毛。结果令人鼓舞，但我们很快意识到需要采取更复杂的方法来解决所涉及的细微风险。这种认识促使我们使用 Judge LLM，这是一种能够以更加结构化和一致的方式评估响应和安全风险的模型。

使用众所周知的基础模型，我们通过快速工程对它们进行了调整，让它们像法学硕士法官一样，评估目标法学硕士的反应并评估安全风险。然而，评估过程绝非一帆风顺。我们面临挑战，例如确保法学硕士法官在确定漏洞的严重性时不考虑提示本身，并保持类似于 CVSS 等静态漏洞评分的一致评分。这些挑战要求我们提高我们的即时工程技能，尝试不同的措辞和技术，以实现所需的评估一致性。

概念验证：定义目标和成功标准

我们的概念验证 (POC) 最终形成了一个简单的应用程序，该应用程序能够提示任何 LLM、评估响应并对漏洞进行评分。我们编制了一个包含大约 1,000 个问题的数据集，涵盖 16 多个风险类别和子类别。

该数据集是我们根据 OWASP 中列出的攻击类别创建的，问题由法学硕士生成、手工制作，并且也来自 Hugging Face 上的开源数据集。最初的 1000 个问题的生成经过了彻底的审查后进行了多次迭代。我们使用 Hugging Face 的文本生成推理平台来提示目标 LLM，然后使用我们的 Judge LLM 进行评估。这个过程使我们能够深入了解各种法学硕士的优势和劣势，以及最普遍的漏洞类型。

我们通过整合 20 多种越狱攻击来扩展我们的方法，利用开源研究来了解不同类型的越狱和攻击方法。越狱攻击涉及绕过 LLM 的内置限制，使它们以意想不到的或潜在有害的方式运行。尤其是越狱，为测试法学硕士针对恶意输入的稳健性开辟了新途径。越狱闭源模型尤其具有挑战性。它需要先进的技术来绕过其固有的防护措施，例如利用模型微调中的弱点或利用复杂的提示工程来逃避检测。这些技术包括识别训练数据中的弱点、使用微妙的提示操作或利用模型架构中的漏洞。此外，攻击不仅限于文本，支持多模式攻击（包括基于图像、音频和视频的漏洞）对于全面评估法学硕士的安全性至关重要。

为了简单性和实用性，我们最终将自己限制在不需要攻击者 LLM 的情况下就可以进行的越狱，从而保持我们的解决方案轻量级且更易于部署。这一决定使我们能够专注于使扫描仪尽可能易于使用，确保客户可以轻松地将其集成到现有的工作流程中，而无需大量额外资源。

融入 Qualys 生态系统

下一步是将我们的 POC 转化为企业解决方案，并将其与现有的 Qualys 生态系统集成。我们决定不让 LLM 扫描仪作为独立工具或 pip 模块运行。相反，我们将其集成到我们的 Web 应用程序扫描器 (WAS) 基础设施中。这使我们能够利用现有的漏洞管理 (VM) 功能，为客户提供无缝体验，从单一平台提供传统和人工智能特定的漏洞扫描。该解决方案使 Qualys 成为唯一一家提供整体、全栈解决方案的公司，该解决方案提供发现、VM 和模型扫描，这与缺乏此类集成方法的竞争对手不同。这使 Qualys 脱颖而出，为 AI/ML 环境提供全面的端到端安全解决方案。这种集成对于确保我们的解决方案不仅有效，而且可扩展且易于管理至关重要。

为了加强人工智能/机器学习安全工作，我们利用了网络安全资产管理的现有服务（CSAM）团队已经对资产上运行的软件进行指纹识别和标记，对知名的 AI/ML 软件进行指纹识别和标记，并将其列在我们的资产清单中。这一步骤对于帮助我们的客户了解他们的 AI/ML 足迹和相关风险至关重要。此外，我们的漏洞研究人员致力于识别与 AI/ML 软件堆栈相关的 CVE，为已知漏洞添加了近 700 多个 QID（分配给漏洞的唯一 Qualys ID 号），并结合软件构成分析（西南CA）覆盖范围。如此广泛的漏洞目录有助于确保我们的扫描仪能够检测各种潜在威胁，从而为 AI/ML 环境提供全面的覆盖。

映射到 MITRE ATLAS 和 OWASP

我们解决方案的一个重要方面是将我们的扫描仪功能与既定的安全标准保持一致。我们将检测结果映射到斜接阿特拉斯，针对人工智能系统的对手战术和技术的知识库，以及OWASP 法学硕士前 10 名类别。这需要对我们的初始数据集进行仔细审查，从而将问题从 1,000 个减少到约 600 个，确保每个问题都属于公认的类别并提供价值。映射过程具有挑战性，因为它要求我们仔细评估每个问题的相关性，并确保其与既定的策略和技术保持一致。

通过将我们的 AI/ML 扫描仪与 VM 检测和 OWASP 相关发现相结合，我们的目标是为客户提供 AI/ML 安全状况的全面视图，最终反馈到我们的TruRisk 倡议– 我们内部开发的用于评估资产和基础设施风险评分的方法，这是 Qualys 独有的专有方法。Qualys 企业 TruRisk 管理使组织能够有效地识别、评估和减轻风险，包括与 AI/ML 数据相关的风险。将 AI/ML 扫描仪数据输入 TruRisk 可以补充风险评估流程，提供有价值的整体风险视角。凭借跨环境的全面风险可视性、人工智能/机器学习见解、自动化工作流程和集成威胁情报，它可以增强决策并使安全策略与业务目标保持一致，确保采用主动方法来管理企业范围内的风险。

走向产品化

奠定了所有基础后，我们将目光投向了第一个版本Qualys TotalAI我们可以自豪地向世界发布。这包括：

• 使用 CSAM 进行 AI 指纹识别：识别 AI/ML 工作负载并提供组织内 AI 资产的可见性。
• 适用于 AI 工作负载的虚拟机：聚焦基础设施安全，确保支撑AI模型的底层系统安全。
• TotalAI UI模块：用于管理 AI/ML 安全性的专用界面，为用户提供与扫描仪交互和查看结果的直观方式。
• 模型扫描（仅限外部）：扫描托管在 Hugging Face、AWS Bedrock、Azure AI、Google Vertex 等平台上的端点，确保与流行的 AI 服务广泛兼容。
• OWASP LLM 前 10 名覆盖范围：对影响法学硕士的最关键漏洞的有限但集中的覆盖，为未来的扩展提供了坚实的基础。
• 特鲁风险报告：提供考虑到传统漏洞和人工智能特定漏洞的综合风险评分，帮助组织确定修复工作的优先级。

在接下来的三个月里，我们的团队改进了 LLM 扫描仪，扩展了其与不同推理端点的兼容性，并致力于 UI 模型以确保流畅的用户体验。我们的 CSAM、威胁研究和 VM 团队也发挥了重要作用，成功地对 AI/ML 软件进行了指纹识别并进行了其他漏洞检测。这些努力有助于确保我们的解决方案既有效又用户友好，为我们的客户提供无缝体验。

竞争对手和差异化

当我们到达这个阶段时，已经出现了几种 LLM 扫描仪解决方案。这些解决方案通常作为 pip 模块运行，通过提示扫描 LLM——与我们开始的方式类似。然而，我们的方法超出了基于提示的扫描范围。通过集成 AI 指纹识别、漏洞扫描、OWASP 攻击和 MITRE ATLAS 映射缓解措施（MITRE ATLAS 是针对 AI 系统的对手策略和技术的知识库），我们提供了具有独特风险评分机制的更全面的安全解决方案通过 TruRisk（TruRisk 是我们评估资产和基础设施风险评分的专有方法）。这种差异化是定位的关键夸利斯 全面人工智能作为一个全面的解决方案，它提供的不仅仅是基本的漏洞检测。

我们的方法还强调了将 AI/ML 安全集成到现有安全工作流程中的重要性。我们的目标不是将 AI/ML 安全视为一个单独的问题，而是使其成为组织整体安全策略的一个组成部分。这种整体方法使我们能够更全面地了解组织的安全态势，帮助他们以一致的方式解决传统风险和人工智能特定风险。

挑战和未来方向

尽管我们取得了进步，但新的挑战也正在出现。随着我们的解决方案日趋成熟，我们认识到不断发展的 AI/ML 环境带来了新的复杂性需要解决。AI/ML 领域的快速发展意味着我们需要扩展扫描仪以支持多模式攻击，包括基于图像、音频和视频的漏洞。这些新型攻击要求我们重新思考漏洞检测方法，开发新技术和数据集来应对多模式模型带来的独特挑战。此外，检索增强生成 (RAG) 系统、代理工作流程和公共云集成的兴起（几乎我们所有的客户都将其用作 PaaS 或 SaaS）以及不断发展的护栏技术是未来研究和开发的关键领域。

我们还探索了护栏的使用，例如NVIDIA NeMo和护栏人工智能，防止恶意或越狱提示。这些护栏通过分析输入和输出的潜在有害模式并限制不安全行为，充当保护层。它们通过提供针对恶意活动的额外主动缓解措施来适应我们的整体安全策略，从而增强我们的 LLM 扫描程序的稳健性。然而，这些防护措施通常依赖于模式匹配并且可以被规避——这表明漏洞远未消除。这为以下人员提供了机会：Qualys TotalAI将护栏集成为缓解层，根据扫描结果对其进行校准，为客户提供适应性强的安全解决方案。通过将护栏纳入我们的扫描仪中，我们的目标是提供额外的防御层，有助于减轻恶意提示和其他攻击带来的风险。

总结

我们从简单的概念验证到产品提供的过程既充满挑战又充满回报。我们学到了很多关于AI/ML 安全，快速工程，并将新技术集成到我们现有的安全生态系统中。在整个过程中，我们面临着许多挑战，从开发有效的评估技术到将我们的解决方案整合到更广泛的领域中。品质平台。每一项挑战都为我们提供了宝贵的见解，并帮助我们完善我们的方法。

我们有信心Qualys TotalAI随着技术的不断发展，它将在帮助组织保护其 AI/ML 基础设施方面发挥重要作用。通过整合AI指纹识别、漏洞扫描、OWASP攻击，以及独特的风险评分机制特鲁风险,全面人工智能提供有别于市场上其他产品的全面解决方案。

通过提供全面、集成的解决方案来解决传统和人工智能特定的漏洞，我们相信我们可以帮助我们的客户应对人工智能/机器学习安全的复杂性。随着我们继续工作，总会有新的进步和漏洞需要解决——让旅程保持兴奋并推动我们创新。

展望未来

展望未来，我们计划扩展我们的解决方案以支持更多攻击类型和模式，确保全面人工智能仍处于前列人工智能/机器学习安全。我们还致力于使用我们的内部扫描仪使扫描仪在内部为未公开暴露的模型工作。此外，我们打算继续完善我们的风险评分方法，为我们的客户提供他们所需的见解，以便他们就其安全状况做出明智的决策。人工智能/机器学习领域正在迅速发展，我们致力于保持领先地位，并帮助我们的客户在不断变化的环境中保护他们的人工智能资产。

贡献者

• Girish Aher，Qualys 数据平台高级经理
• Kedar Phadnis，Qualys 项目管理高级经理
• Ramesh Mani，Qualys 数据平台首席架构师
• Sheela Sarva，Qualys Web 应用程序安全总监