我们所有客户的AI指数

今天，我们宣布私人beta的AI索引对于CloudFlare上的域，这是一种新型的Web索引，它为内容创建者提供了使其数据可通过AI发现的工具，并使AI构建者可以访问更好的数据以获得公平的补偿。

在您的域上启用了AI索引后，我们将为您的网站自动创建一个AI优化的搜索索引，并公开一组现成的标准API和工具，包括MCP服务器，LLMS.TXT和搜索API。我们的客户将拥有并控制该索引以及如何使用该索引，您将有能力通过付费和新的X402集成。您将能够使用它在自己的网站上构建现代搜索体验，更重要的是，与外部AI和代理提供商进行互动，以使您的内容更加可发现，同时得到相当补偿。

对于AI构建者而言，无论是开发人员创建代理应用程序还是提供基础LLM模型的AI平台公司，CloudFlare将提供一种新的方法来发现和检索Web内容：直接酒吧/子连接到具有AI索引的单个网站。建造者将能够订阅选择发现的特定站点，在内容更改后立即接收结构化更新，并为每个访问付费。访问始终由网站所有者酌情决定。

从各个索引中，CloudFlare还将建立一个聚合的层，打开索引，将参与站点捆绑在一起。建筑商可以在收藏或更广泛的网络上搜索一个地方，而每个站点仍然保留控制并可以从参与中赚钱。 

AI平台迅速成为人们在线发现信息的主要方式之一。无论是要求聊天机器人总结新闻文章还是找到产品建议，该答案的途径几乎总是始于爬行原始内容，索引或使用该数据进行培训。但是，如今，该过程在很大程度上受到平台的控制：什么是爬行，频率以及网站所有者是否对此事有任何意见。

尽管CloudFlare现在提供了监视和控制AI服务如何尊重您的访问策略以及它们如何访问您的内容，但使新内容可见仍然具有挑战性。在发布或更新页面时，内容创建者没有有效的方法向AI构建者发出信号。另一方面，对于AI建筑商而言，爬行和招募非结构化内容是昂贵的，浪费了资源，尤其是当您不知道事先知道质量和成本时。

我们需要一个更公平，更健康的生态系统来发现和用法，以弥合内容创建者与AI构建者之间的差距。

当您登上一个域上的域，或者在CloudFlare上有现有域时，您将可以选择启用AI索引。如果启用，我们将为您拥有和控制的域名创建一个优化的搜索索引。

随着您的网站更新和增长，该索引将随之发展。新的或更新的页面将使用与CloudFlare的相同技术实时处理AI搜索（以前为Autorag）及其网站作为数据源。最重要的是，我们将管理一切；您不必担心计算，存储资源，数据库，嵌入，块或AI模型的每个组件。一切都会自动发生在幕后。

重要的是，您将控制哪些内容包括或排除从您网站的索引中，以及WHO可以通过人工智能 爬网控制，确保仅您要公开的数据才能搜索和访问。您还可以完全选择退出AI索引；这一切都取决于您。

设置AI索引时，您将获得一组现成的API： - âââââââââââââââââã - -ââââââââââââââââââââââââââââââââââââââââ - âââââââââââââââââã - -ââââââââââââââââââââââââââââââââââââââââ 

• MCP服务器：代理应用程序将能够使用该应用程序直接连接到您的网站模型上下文协议（MCP），使您的内容可以以标准化的方式向代理发现。这包括对NLWEB工具是Microsoft开发的开放项目，该项目定义了网站上自然语言查询的标准协议。

• 灵活的搜索API：这个终点将 返回结构化json.â的相关结果 

• llms.txt和llms-full.txt：为LLM提供网站的机器可读地图的标准文件，以下新兴的公开标准。这些将有助于模型了解如何在推理时使用您的网站内容。一个例子llms.txt存在于Cloudflare开发人员文档中。

• 批量数据API：终点 为了有效地传输大量内容，根据您设置的规则可用。AI提供商将不必为每个文档查询每个文档，而是能够一次摄入。

• Pub-Sub订阅：AI平台将能够订阅您的网站索引，并以实时的结构化格式直接从CloudFlare接收事件和内容更新，从而使他们易于保持最新时，而无需重新爬行。

• 可发现性指令：在Robots.txt和众所周知的URI中，允许AI代理和爬网访问您的网站自动发现和使用可用的API。

该索引将直接与AI爬网控制，因此您将能够看到谁访问您的内容，设置规则并管理权限。并与付费和X402集成，您可以选择直接将访问您的内容获取货币化。 

作为AI构建器，您将能够通过单个站点的AI索引来发现并订阅高质量，权限的Web数据。您将通过酒吧/sub模型连接到爬行者，而不是盲目地发送爬行者：参与网站将在其内容更改时曝光结构化更新，并且您将能够订阅以实时接收这些更新。使用此模型，您的新工作流程可能看起来像这样：

1. 发现已选择的网站：浏览和过滤通过网站目录，这些网站可以通过CloudFlare提供其索引。

2. 评估元数据和指标的内容：在访问它之前，请获取有关各种指标（例如唯一性，深度，上下文相关性）的内容元数据信息。

3. 公平付款以访问：当内容很有价值时，平台可以通过每次爬网的薪水直接补偿创作者。这些付款不仅可以访问，而且还支持继续创建原始内容，从而有助于维持更健康的生态系统以进行发现。

4. 订阅更新：使用Pub-Sub订阅接收有关网站进行更改的事件，因此您知道何时检索或爬网，以获取新内容，而不会浪费在不断重新爬行的情况下浪费资源。 

通过从盲目爬行到网络的权限/子系统，AI构建者节省了时间，削减成本，并可以访问更清洁，高质量的数据，而内容创建者仍处于控制状态并得到相当补偿。

各个索引提供了可以直接从特定站点访问数据的AI平台，从而使他们可以订阅更新，评估价值并付费以每次站点的方式访问完整内容。但是，当建筑商需要大规模工作时，管理数十个或数百个单独的订阅可能会变得复杂。这打开索引将提供一个附加的选择：这些索引的捆绑，选择加入，具有复杂的功能，例如质量，独特性，独创性和内容过滤器的深度，都可以在一个地方访问。

开放索引旨在使内容发现更容易：

• 获得统一访问：同时查询和检索许多参与站点的数据。这减少了集成开销，并使构建者能够插入策划的数据集合，或将其用作可以在查询时间访问的现成的Web搜索层。

• 发现更广泛的范围：使用特定于主题的捆绑包（例如新闻，文档，科学研究）或涵盖更广泛网络的一般发现指数。这使得探索您可能尚未单独识别的新内容源变得简单。

• 自下而上的获利：结果仍然源于单个站点的AI指数，货币化通过每次爬网付款回到了该地点，有助于在大规模维护公平和可持续性。

当您希望从单个站点（即用于培训，AI代理或搜索体验）中进行完整内容时，每次站点AI索引和开放索引将提供灵活性和精确的控制，并且当您需要在网络上进行统一搜索时进行广泛的搜索范围。

通过AI索引和CloudFlare Open Index，我们创建了一个模型，网站可以在其中决定其内容的访问方式，并且AI构建者会在大规模上接收结构化的，可靠的数据，以构建一个更公平，更健康的生态系统，以在Internet上进行内容发现和使用。

我们从私人beta。如果您想将网站注册到AI索引或作为AI构建器访问Pub/sub Web提要，则可以今天注册。

Cloudflare的连接云保护整个公司网络，帮助客户建造有效的互联网规模应用程序，加速任何网站或互联网应用程序，，，，DDOS攻击的病房，保持黑客在海湾，可以帮助您您零信任的旅程。

访问1.1.1.1从任何设备开始使用我们的免费应用程序，该应用程序使您的互联网更快，更安全。

要了解有关我们的使命的更多信息，以帮助建立更好的互联网，从这里开始。如果您正在寻找新的职业指导，请查看我们的公开位置。