Cloudflare刚刚改变了互联网，这对AI巨人来说是个坏消息

主要的Internet内容交付网络（CDN），Cloudflare，已宣布对AI公司的战争。从7月1日开始CloudFlare现在默认地阻止AI Web爬网未经许可或薪酬访问网站的内容。

该更改解决了一个真正的问题。我自己的小网站，我在这里跟踪所有故事，实用技术，有时AI爬行者会大大减慢。不只是我。许多网站所有者报告说，AI爬行者，例如Openai的GPTBOT和人类的Claudebot， 产生大量的自动请求堵塞了网站因此它们像污泥一样慢。Googlebot单独报告云托管服务动词 轰炸它托管的网站，一个月超过45亿个请求。一个 

这些AI机器人通常比传统的搜索引擎爬网更积极地爬行。他们有时每隔几个小时重新访问相同的页面，甚至每秒都有数百个请求点击网站。尽管AI公司否认应归咎于机器人，但证据表明了一个不同的故事。 

还：参议院从特朗普的税收法案中删除禁止国家AI法规的禁令

因此，代表它两百万客户，20％的网络cloudflare现在阻止了AI爬行者。对于任何新的网站签署其服务，除非网站所有者明确许可，否则AI爬行者将被阻止访问其内容。此外，Cloudflare有望检测“阴影”刮刀，这些机器人试图通过使用行为分析和机器学习来逃避检测。对AI鹅有益的对甘德有好处。 

此举扭转了以前的现状，网站所有者必须退出AI爬行。现在，Blocking是默认值，AI供应商必须请求访问并澄清其意图，无论是用于模型培训，搜索还是其他用途，然后才能进入。 

这种变化不仅是由于网站所有者感到沮丧。众多出版公司，例如美联社，康德·纳斯特和ZDNet自己的母公司，齐夫·戴维斯，很生气AI公司一直在“剥离”网络内容。通常，这是在没有赔偿或同意的情况下进行的，有时甚至忽略了诸如此类的标准协议robots.txt那是为了阻止爬虫。 

（披露：ZDNET的母公司齐夫·戴维斯（Ziff Davis）于2025年4月对OpenAI提起诉讼，指控它侵犯了Ziff Davis在培训和运营其AI系统方面的版权。）

此外，最近的法院案件已裁定有利于元和人类的裁定，发现他们对受版权的作品的使用是合法的，这是合法使用的学说。不用说，作家，艺术家和出版商不喜欢这一点。出版商仍然担心联邦政府会赋予人工智能自由地掌握其内容。诸如OpenAI和Google之类的人工智能公司继续游说政府将对受版权数据的AI进行分类为公平用途。 

还值得注意的是，版权办公室发布了其前出版版本之后108页版权和AI报告，这是通过支持这两个世界一流行业为我们的经济和文化进步做出很大贡献的中间立场。但是，它补充说，虽然某些生成AI可能构成了“变革性”的使用，但所有数据的质量刮擦并不合理使用。第二天，特朗普政府解雇了 版权所有 并用没有先前在版权法的经验的律师代替她。 

还：美国版权办公室对AI艺术的新裁决在这里 - 它可以改变一切

鉴于所有这些，也就不足为奇出版商寻求技术盟友。

正如CloudFlare首席执行官Matthew Prince在一份声明中所说，其新政策旨在“为出版商提供他们应有的控制权，并建立一种新的经济模式，可适用于每个人，消费者，明天的AI创始人以及网络本身的未来。” 

为了补充封锁AI爬网的举动，Cloudflare还推出了它的“按爬行付款”计划。这使出版商可以为想要刮擦其内容的AI公司设定自己的费率。 

还：AI生成的图像是法律上的混乱 - 仍然是一个非常人性化的过程

该系统目前处于私人的beta状态，旨在创建一个框架，在该框架中，AI公司可以为访问付费，或者拒绝拒绝。从技术上讲，这将通过除尘，大多数未使用的Web服务器响应来完成HTTP 402，其中以“付款需要”错误消息做出响应。这意味着与现有网站及其基础结构兼容应该很容易实施。 

总体而言，这很重要。多亏了CloudFlare为大部分互联网提供动力，除非AI公司协商访问或支付许可费，否则大量的Web内容可能变得无法访问。作为尼古拉斯·汤普森（Nicholas Thompson）大西洋，指出：“到目前为止，AI公司不需要支付内容许可证，因为它们可以简单地接受而不会受到影响。现在他们需要谈判。“一个 

至此，大多数AI公司都积极反对支付内容。正如前英国副总理兼元高管尼克·克莱格爵士（Nick Clegg）最近所说，只是征求艺术家的许可，然后才刮擦版权内容将“基本上杀死AI行业”。” 

还：Cloudflare阻止了最大的DDOS攻击 - 这是保护自己的方法

Cloudflare的新政策是对这种方法的直接响应，以及随之而来的AI爬网的数量和侵入性。这也是试图停止偷偷摸摸的流量，否则出版商。 

自AI的兴起以来，新闻网站的访问量下降。例如，业务内部人士的流量下降了一半以上，从2022年4月到2025年4月。未选中，汤普森最近预测，由于AI，大西洋工作人员应该期望从Google到零的流量。

接下来会发生什么？另一个CDN，例如akamai，效仿？敬请关注。就目前而言，不受限制的AI爬行时代似乎已经结束了，至少对于流过Cloudflare管道的第五互联网而言。

每天与我们的收件箱中获取早晨的顶级故事 今日技术新闻通讯。