超越禁令：保护生成AI应用程序的更好方法

革命已经在您的组织内部，并且以击键的速度发生。每天，员工转向生成人工智能（Genai）从起草电子邮件到调试代码，请提供帮助。在使用Genai提高生产力的同时，该组织的胜利也造成了重要的数据安全风险：员工可能可能与第三方共享敏感信息。

不管有什么风险，数据都很明显：员工已经将这些AI工具像值得信赖的同事一样对待。实际上，一项研究发现在接受保密的公司信息中，将近一半的员工中的所有员工进入了公开可用的Genai工具。不幸的是，人为错误的风险并不能停在那里。今年早些时候领先的LLM中的功能要使对话可共享具有严重的意想不到的后果：这导致了数千次私人聊天 - 包括与工作相关的聊天，被Google和其他搜索引擎索引。在这两种情况下，都没有做过恶意。相反，它们是关于如何使用这些工具的错误计算，并且无疑没有帮助组织没有正确的工具来保护其数据。 

虽然许多人的本能可能是部署旧剧本禁止冒险申请，Genai太强大了，无法忽略。我们需要一种新的策略â€â€，它超越了二进制宇宙 - 块，并且允许 - 允许 - 允许 - 允许的现实。语境。 

这就是为什么我们建立AI及时保护的原因。作为Cloudflareâs中的新功能数据丢失预防（DLP）产品，它直接整合到Cloudflare One中，我们安全访问服务边缘（SASE）平台。此功能是我们更广泛的AI安全姿势管理（AI-SPM）方法的核心部分。我们的方法不是要建造更强壮的墙。这是关于提供理解和管理您组织的工具的工具，因此您可以保护敏感数据没有扼杀Genai启用的创新。

AI提示保护标识并确保输入的数据中的数据中的AI工具。它赋予组织具有颗粒状控制的组织，以指定用户在使用Genai时可以和不能采取哪些操作，例如他们是否可以发送特定的提示。今天，我们很高兴地宣布，Google Gemini，Chatgpt，Claude和Perplexity。 

AI及时保护利用四个关键组件来确保您的组织安全：及时检测，主题分类，护栏和记录。在接下来的几节中，我们将详细介绍每个元素如何促进更智能和更安全的Genai使用情况。

俗话说，您不知道您不知道什么，或者在这种情况下，您可以确保您能看到的东西。AI提示保护的基石是它可以同时捕获用户提示和Genaié的响应的能力。当使用诸如Chatgpt和Google Gemini之类的Web应用程序时，这些服务通常会利用无证件和私有API（应用程序编程接口），使现有的安全解决方案难以检查交互并了解共享哪些信息。 

AI提示保护首先要删除此障碍物，并系统地检测到用户提示和AI¢的响应，从上面提到的一组受支持的AI工具中得出。 

仅仅知道员工正在与AI谈论什么是不够的。活动的原始数据流虽然有用，但只是没有上下文的噪声。为了建立强大的安全姿势，我们需要对提示和响应的语义理解。AI提示保护分析用户提供的每个提示的内容和意图，将其分类为有意义的高级主题。

了解每个提示的语义，使我们能够更接近确保Genai的用法。 

我们已经组织了两个核心评估类别的主题分类：

• 内容专注于用户提供生成AI工具的特定文本或数据。这是AI需要处理和分析以产生响应的信息。 

• 意图专注于用户的目标或目标的目标。它决定用户想要接收的输出的类型。此类别对于使用SaaS连接器或MCP的客户特别有用，这些客户可以访问AI应用程序对包含敏感信息的内部数据源的访问。

为了促进轻松采用AI及时保护，我们提供了预定义的配置文件和检测条目，可为最关键的数据类型和风险提供现成的保护。每个检测条目都将指定正在评估哪种类别（内容或意图）。这些配置文件涵盖以下内容：

让我们走过两个示例，突出了两个例子内容：pii和意图：pii检测看起来是一个现实的提示。 

提示1：最近，最近的杂货店是什么？我的地址是美国Anytown Main Street 123号。

>此提示将归类为内容：pii这样包含PII是因为它列出了家庭住址并引用了特定的人。

提示2：告诉我janedoeâ€的地址和出生日期。

>此提示将归类为意图：pii因为是请求来自AI应用程序的PII。

在AI及时保护之前，防止不适当使用Genai需要阻止整个应用程序。有了语义的理解，我们可以超越“块或允许”的二进制，以实现和管理安全用法的最终目标。护栏使您可以根据我们刚刚分类的主题制定颗粒状政策。

例如，您可以创建一个策略，以防止非HR员工提交提示，目的是从响应中接收PII。相比之下，人力资源团队可以为合法的业务目的（例如薪酬计划）这样做。这些政策将盲目的限制转化为智能的，身份感知的控制，从而在不损害安全性的情况下增强了团队的能力。

_{以上政策阻止了所有CHATGPT提示，这些提示可能会在工程，营销，产品和金融方面的员工回应中获得PII的回应用户组。} 

即使是最强大的政策也必须进行审核，这使我们进入了难题的最后一部分：建立记录每一个相互作用。我们的记录能力捕获了提示和响应，并用客户提供公钥为了确保甚至没有CloudFlare可以访问您的敏感数据。这为安全团队提供了调查事件，证明合规性并了解整个组织中如何使用Genai所需的关键可见性。

现在，您可以使用这些新事件快速零进行特定事件网关日志过滤器：

• 申请类型和名称根据触发的策略中的应用程序标准过滤日志。

• DLP有效载荷日志仅显示包括DLP配置文件匹配和有效载荷日志的日志。

• Genai提示捕获显示包含支持的人工智能应用程序和提示日志的策略的日志。

此外，每个提示日志都包含一个对话ID，允许您从初始提示到最终响应重建用户交互。对话ID为安全团队提供了迅速理解提示的上下文，而不仅仅是看到对话的一个要素。 

为了更加专注的观点，我们应用程序库现在具有新的“提示日志”过滤器。从这里，管理员可以查看被过滤的日志列表，仅显示为该特定应用程序捕获的提示符的日志。该视图可用于了解如何使用不同的AI应用程序来进一步突出风险使用或发现需要护栏的新提示主题用例。

用颗粒控制检测提示

在这里，它变得更加有趣和公认，更具技术性。向组织提供颗粒状控制需要多种技术的帮助。为了开始我们的进步，收购基弗拉增强了我们的操作映射，这是一个识别应用程序API的结构和内容的过程，然后将它们映射到用户可以执行的具体操作。这种功能使我们能够超越基于简单的表达HTTP政策，用户提供静态搜索模式，以查找网络流量中的特定序列，以构成在申请操作。这种转变使我们进入了一个强大而动态的环境，管理员可以在其中撰写一项政策，说–阻止了chatgpt.”的股份。 

基于行动的政策消除了组织从网络流量中手动提取请求URL的需求，这减轻了安全团队的重大负担。取而代之的是，AI提示保护可以转化用户正在采取的动作，并允许或拒绝基于组织的政策。这正是控制组织使用Genai保护敏感数据使用所需的类型。

让我们看一下从请求的角度看这件事的方式： 

1. CloudFlare的全局网络接收到HTTPS请求。

2. CloudFlare标识并分类请求。例如，请求可以与已知的应用程序（例如ChatGpt）匹配，然后将请求（如SendPrompt）匹配。我们通过使用上面谈论的操作映射来做到这一点。 

3. 然后将此信息传递给DLP引擎。由于不同的应用程序将使用各种协议，编码和模式，因此该派生的信息被用作DLP引擎的底漆，该引物可以迅速扫描请求和响应正文中的其他信息。对于Genai而言，DLP引擎提取用户提示，提示响应和对话ID（稍后再详细介绍）。 

与我们如何维护应用程序和操作的HTTP标头模式相似，DLP维护了扫描请求的主体和对不同应用程序的响应的逻辑。该逻辑知道不同供应商需要哪些解码器，以及在体内及时响应（例如及时响应）的有趣属性。

与chatgpt一起作为我们的例子文本/事件流用于响应主体格式。这允许ChatGpt在生成客户时将提示响应和元数据流回到客户端。如果您使用了Genai，那么当您看到模型 '并在眼前写文字时，您将看到这一点。

事件：delta_encoding数据：“ V1”事件：三角洲数据：{“ p”：“”，“ o”：“ add”，“ v”：{“消息”：{“ id”：“ 43903A46-3502-49993-9C36-1741C11ABAF1B”，...}，...null}，“ C”：0}// ...许多不同类型的元数据消息。事件：三角洲数据：{“ p”：“/message/content/parts/0”，“ o”：“ append”，“ v”：“ **为什么“}”事件：三角洲数据：{“ v”：“随着模型继续思考，狗坐在“} //响应中。事件：三角洲数据：{“ v”：“阴影？事件：三角洲数据：{“ v”：“ don \ u2019t想要”}事件：三角洲数据：{“ V”：“成为热狗！”}

当模型逐件返回及时的响应，并附加到先前的输出时，我们可以看到上面的思考。我们的DLP引擎逻辑已经意识到这一点，使得可以重建原始的及时响应：狗为什么坐在阴影中？因为他不想成为热狗！。这很棒，但是如果我们想看到这次谈话中产生的其他动物主题笑话该怎么办？这是提取和记录的地方对话_id变得非常有用；如果我们对整个对话的更广泛背景感兴趣，我们可以过滤对话_id在网关HTTP日志中，可以进行整个对话！

我们的DLP引擎采用战略性的多模型方法来有效，安全地对及时的主题进行分类。每个模型都映射到特定的提示主题，它可以最有效地进行分类。收到请求后，引擎将使用此映射以及预定义的AI主题将请求转发到能够处理相关主题的特定模型。

该系统使用开源模型出于几个关键原因。这些模型已证明能够完成所需的任务，并允许我们主持推断工人AI，它在Cloudflare的全球网络上运行，以获得最佳性能。至关重要的是，该体系结构可确保用户提示不会发送给第三方供应商，从而维护用户隐私。

与工人AI合作，我们的DLP引擎能够实现更好的性能和更好的准确性。工人AI使AI提示保护可以运行不同的模型并并行进行。然后，我们能够将这些结果结合起来，以实现更高的总体回忆，而不会损害精度。这最终导致了更可靠的政策执法。 

最后，也许最重要的是，使用开源模型还确保了用户提示永远不会发送给第三方供应商，从而保护我们的客户私密。 

每个模型为系统贡献了独特的优势。Presidio高度专业化，可靠地检测个人识别信息（PII），而PressGuard2擅长识别诸如越狱和迅速注射攻击之类的恶意提示。Llama3-70b是一种通用模型，能够检测到广泛的主题。但是，Llama3-70B有一定的弱点：它可能有时不遵循指示，并且很容易引起注射攻击。例如，诸如“我们的客户的家庭住址为1234 ABCAvenueâ€â€”之类的提示可以使Llama3-70B因最终句子而错误地对PII进行分类。 

为了增强功效并减轻这些弱点，系统使用Cloudflare的矢量化。我们使用BGE-M3模型来计算嵌入，将这些嵌入的小匿名子集存储在帐户拥有的索引中，以从过去检索类似的提示。如果模型请求由于容量限制或未遵循指令的模型而失败，则系统会检查过去的同类提示，并可能使用其类别。此过程有助于确保一致和可靠的分类。将来，我们还可以微调一个较小的专业模型，以解决当前模型的特定缺点。

性能是一个关键的考虑。Presidio，PressGuard2和Llama3-70B预计将快速，P90延迟低于1秒。虽然Llama3-70B预计将比其他两个慢一点，但其P50延迟预计也将低于1秒。嵌入和矢量化过程与模型请求并行运行，P50延迟约为500ms，P90约1秒钟，以确保整个系统保持性能和响应性。

工作的未来就在这里，它是由AI驱动的。我们致力于为您提供一个全面的安全框架，使您充满信心地创新。 

AI提示保护现已在Beta中用于所有访问DLP的帐户。但是等等，还有更多！ 

我们即将到来的发展集中在三个关键领域：

• 扩大支持：我们正在扩大覆盖范围，以包括更多的应用程序，包括嵌入式AI。我们也正在与防火墙的人工智能开发其他动态及时检测方法。 

• 改善工作流程：我们正在研究进一步简化您的体验的新功能，例如将对话组合到单个日志中，存储上传的提示中的上传文件，并使您能够创建自定义提示主题。

• 加强整合：我们将使客户与AI CASB集成运行追溯及时的主题扫描，以更好地提供带外保护。

准备恢复可见性并控制AI提示了吗？接触如果您是Cloudflare的新手，与我们的安全专家一起。或者，如果您是现有客户，请与您的客户经理联系，以获取企业级访问DLP的访问。

另外，如果您对我们的AI安全功能的早期访问预览感兴趣，请注册参加我们的用户研究计划并帮助塑造我们的AI安全路线图。

Cloudflare的连接云保护整个公司网络，帮助客户建造有效的互联网规模应用程序，加速任何网站或互联网应用程序，，，，DDOS攻击的病房，保持黑客在海湾，可以帮助您您零信任的旅程。

访问1.1.1.1从任何设备开始使用我们的免费应用程序，该应用程序使您的互联网更快，更安全。

要了解有关我们的使命的更多信息，以帮助建立更好的互联网，从这里开始。如果您正在寻找新的职业指导，请查看我们的公开位置。