Anthropic 爬网页和带回访客的比例是 2800 比 1，但这个数字不能单独判案
作者：韩启明｜OC 科技政策编辑
韩启明
据 Business Insider 对 Cloudflare 数据的分析，7 月 1 日至 7 日，Anthropic 相关机器人平均抓取网页约 2800 次，才由其产品向网站带回一次访问。OpenAI 和 Perplexity 的比例也明显偏向抓取，DuckDuckGo 则约为 3 比 1。
一句话结论：这个数字清楚显示传统“允许抓取、换取流量”的网络交换正在失衡，但它不能单独证明内容被用于训练、抓取违反网站意愿，或某家公司已经构成侵权。
搜索引擎时代的交换相对容易理解：网站允许 Googlebot 抓取页面，Google 在搜索结果中展示链接，再把一部分用户送回网站。网站通过广告、订阅或销售获得收入，搜索引擎获得可索引内容。生成式 AI 直接在回答里消化多个页面，用户拿到结论后不再点击，原有回流就会减少。
Cloudflare 的 crawl-to-refer 指标，就是把 AI 机器人请求页面的次数与 AI 产品实际带来的访问次数相除。2800 比 1 很刺眼，而且 Anthropic 在 4 月一度约为 8800 比 1、5 月部分时段达到 24700 比 1。它至少说明，抓取量和可见回流之间存在巨大差距。
但这个比值也有边界。一次抓取可能用于搜索索引、实时回答、安全检查或训练，单凭请求无法区分；一次 AI 回答可能通过引用产生品牌价值，却不一定形成点击；已签许可协议的网站也可能被计入抓取。反过来，没有 referral 也不意味着网站没有受到经济损失。它是衡量生态交换的代理指标，不是版权法判决书。
Anthropic 此前质疑过 Cloudflare 的方法，称无法验证其计算，并表示新的搜索能力正在增加引荐流量。这个回应值得写进报道，因为 Cloudflare 同时是数据提供者，也是向网站销售 AI 爬虫管理和收费工具的基础设施公司，它并非完全没有商业立场。
Business Insider 还指出一个有意思的矛盾：Anthropic 最近强烈批评其他公司利用 Claude 输出做蒸馏，认为竞争者不应未经允许拿走模型产出；内容网站也在提出相似问题。两件事在法律合同上并不相同，但在利益直觉上非常接近：当自己是内容生产者时，谁都希望对再利用拥有控制权。
关键事实
- Cloudflare 数据显示 Anthropic 最近一周抓取与回流约为 2800 比 1。
- 该指标衡量抓取请求和 referral，不直接识别训练用途或授权状态。
- Anthropic 对 Cloudflare 方法提出过异议，并称搜索功能正在增加回流。
- Cloudflare 自身也在销售 AI 爬虫控制相关服务。
OC 判断
AI 公司不能只靠“我们提供了引用”来维持开放网络。引用存在但无人点击，内容生产者依然拿不到收入。更可持续的方案可能包括可执行的抓取偏好、按使用付费、来源级统计，以及让用户真正有理由访问原文。
为什么重要
- 开发者：构建检索和代理产品时，应区分可访问、可索引、可训练和可展示四种权限。
- 企业：网站日志里的 AI bot 流量需要独立监控，不能继续只按传统搜索爬虫处理。
- 用户：AI 答案看似免费，成本可能由越来越难获得访问量的原始网站承担。
评论
围绕这篇文章补充信息、提出问题或分享观察。