控制Yahoo!Slurp China蜘蛛的访问频度 Crawl-delay: 1000 的效果
📌 TLDR
给 Yahoo! Slurp China 蜘蛛设 Crawl-delay: 100 的效果:它的访问频度比一般引擎高 4–5 倍(文中附了抓取统计),所以很有必要单独控制。
Crawl-delay: 100 的访问频度:Yahoo! Slurp比一般引擎高4-5倍
Yahoo Slurp 95899+234 415.40 M字节 2007年 9 月 30日 23:58
Yahoo! Slurp China 81349+165 479.04 M字节 2007年 9 月 30日 23:59
Googlebot 17741+518 96.31 M字节 2007年 9 月 30日 23:47
Crawl-delay: 1000 的访问频度: Slurp已经恢复到和其他引擎相同水平
Googlebot 22448+413 196.22 M字节 2007年 11月 21日 23:53
Yahoo! Slurp China 15881+192 116.92 M字节 2007年 11月 21日 23:57
Yahoo Slurp 10661+155 98.77 M字节 2007年 11月 21日 23:59
参考文档: 如何控制Yahoo! Slurp蜘蛛的抓取频度
💬 历史评论
以下 2 条评论从旧版 Movable Type 博客迁移而来。 原始评论时间:2002–2016 年。
fisher · 2007-11-30 11:26
现在一般站点的访问量中,蜘蛛的访问占比高达60~80%。这简直有点垃圾邮件那类特性了?
xingxing · 2007-12-02 12:18
Googlebot似乎不支持Crawl-delay?