互联网的那点事
2019-10-24 12:05:41 发布
【头条搜索虽然还没有正式推出和上线 但派出的爬虫已让很多网站痛苦不堪】其抓爬频率每秒几十次甚至高达数百次严重影响网站正常访问，爬虫程序直接毫无节制的疯狂抓爬无视网站性能，甚至导致网站瘫痪。

正常情况下搜索引擎爬虫会根据网站实际访问性能来进行抓取，即动态调整抓爬频率不会导致网站出现异常情况。然而头条搜索使用的爬虫毫无节制的抓爬网站耗费网站的服务器和带宽资源，部分配置较低的网站已经直接瘫痪。
网页链接