Cloudflare 周一宣布计划在明年推出一个市场，网站所有者可以向 AI 模型提供商出售抓取其网站内容的访问权限。该市场是 Cloudflare 首席执行官 Matthew Prince 更大计划的最后一步，该计划旨在让出版商更好地控制人工智能机器人抓取其网站的方式和时间。
如果你不以某种方式补偿创作者，那么他们就会停止创作，Prince 在接受 TechCrunch 采访时表示，这就是必须解决的问题。
作为新计划的第一步，Cloudflare 周一为客户推出了免费的可观察工具，称为 AI Audit。网站所有者将获得一个仪表板来查看有关人工智能模型抓取其网站信息的原因、时间和频率的分析。Cloudflare 还允许客户通过单击按钮来阻止 AI 机器人进入其网站。网站所有者可以使用 AI Audit 阻止所有网络抓取工具，或者允许某些网络抓取工具通过（如果他们有交易或发现其抓取有益）。
与 TechCrunch 分享的 AI Audit 演示展示了网站所有者如何使用该工具，它能够查看访问您网站的每个抓取工具来自何处，并提供选择性窗口来查看来自 OpenAI、Meta、Amazon 和其他 AI 模型提供商的抓取工具访问您网站的次数。
Cloudflare 正试图解决人工智能行业面临的一个问题：如果人们访问 ChatGPT 而不是他们的网站，小型出版商将如何在人工智能时代生存？如今，人工智能模型提供商会在数千个小型网站上搜寻为大语言模型提供支持的信息。尽管一些较大的出版商已与 OpenAI 达成内容许可协议，但大多数网站一无所获，但他们的内容仍然每天被输入到流行的人工智能模型中。这可能会打破许多网站的商业模式，减少他们迫切需要的流量。
今年夏天早些时候，人工智能驱动的搜索初创公司 Perplexity 被指控抓取那些故意表明他们不希望使用机器人排除协议。不久之后，Cloudflare 发布了一个按钮，确保客户可以一键阻止所有人工智能机器人。
Prince 表示，这是出于我们听到的挫败感，人们感觉自己的内容被盗了。
了解如何优化 AWS 的生成式 AI 部署