OC

Knowledge OS
鹦鹉螺口语

👋 填写反馈参与抽奖

请告诉我们您是从哪里知道这个网站的?您的反馈对我们很重要。

人工智能机器人现已成为网络流量的重要来源
2026-02-04 10:30:00 · 英文原文

人工智能机器人现已成为网络流量的重要来源

作者:Will Knight

病毒式虚拟助理 OpenClaw — 以前称为毛毛机器人,在此之前 Clawdbot 是一个象征更广泛的革命正在进行中,这可能会从根本上改变互联网的运作方式。网络可能很快就会被人类主宰,而不是一个主要由人类居住的地方。自主人工智能机器人

一个新报告测量网络上的机器人活动以及互联网基础设施公司 Akamai 与 WIRED 共享的相关数据表明,人工智能机器人已经在网络流量中占据了相当大的份额。这些发现还揭示了一场日益复杂的军备竞赛正在展开,因为机器人部署了巧妙的策略来绕过旨在阻止它们的网站防御。

“未来互联网的大部分内容将是机器人流量”,TollBit 联合创始人兼首席执行官 Toshit Pangrahi 说道,TollBit 是一家跟踪网络抓取活动并发布新报告的公司。“这不仅仅是版权问题,互联网上出现了新的访问者。”

大多数大型网站都试图限制机器人可以抓取并提供给人工智能系统的内容培训目的。(《连线》的母公司康泰纳仕以及其他出版商目前正在起诉几家人工智能公司,指控其涉嫌与人工智能培训相关的版权侵权。)

但另一种与人工智能相关的网站抓取行为现在也在增加。许多聊天机器人和其他人工智能工具现在可以检索实时信息来自网络并用它来增强和改进他们的输出。这可能包括最新的产品价格、电影院时间表或最新新闻摘要。

Akamai 的数据显示,自去年 7 月以来,与培训相关的机器人流量一直在稳步上升。与此同时,机器人为人工智能代理获取网络内容的全球活动也在增加。

“正如我们所知,人工智能正在改变网络,”Akamai 首席技术官 Robert Blumofe 告诉《连线》杂志,“接下来的军备竞赛将决定网络未来的外观、感觉和功能,以及开展业务的基础知识。”

TollBit 估计,到 2025 年第四季度,平均每 31 次客户网站访问中就有 1 次来自人工智能抓取机器人。在第一季度,这个数字仅为每 200 个中的一个。该公司表示,在第四季度,超过 13% 的机器人请求绕过了 robots.txt,该文件一些网站用于指示机器人应该避免哪些页面。TollBit 表示,从去年第二季度到第四季度,忽略 robots.txt 的人工智能机器人比例增加了 400%。

TollBit 还报告称,过去一年尝试阻止 AI 机器人的网站数量增加了 336%。Pangrahi 表示,随着网站试图控制机器人访问其内容的方式,抓取技术变得越来越复杂。一些机器人通过使流量看起来像是来自普通网络浏览器或发送旨在模仿人类通常与网站交互方式的请求来伪装自己。TollBit 的研究指出,一些人工智能代理的行为现在几乎与人类网络流量没有区别。

TollBit 市场工具网站所有者可以用来向访问其内容的人工智能抓取工具收费。其他公司,包括 Cloudflare,报价类似的工具。“任何依赖人工网络流量的人(从出版商开始,但基本上每个人)都会受到影响,”潘格拉希说。– 需要一种更快的方式来实现机器对机器、程序化的价值交换。 –

关于《人工智能机器人现已成为网络流量的重要来源》的评论

暂无评论

发表评论

摘要

一份新报告强调了人工智能机器人在互联网上日益占据的主导地位,占据了网络流量的很大一部分,并对传统的网站防御构成了挑战。机器人活动的增加,尤其是那些为人工智能系统获取实时信息的活动,正在导致一场军备竞赛,因为机器人开发出复杂的策略来绕过限制。TollBit 的数据显示,AI 抓取机器人越来越多地忽略 robots.txt 文件等标准阻止措施,导致尝试阻止这些机器人的网站同比增加 336%。该报告强调了互联网运作方式的根本转变,以及对新解决方案来管理这一不断变化的格局的需求。