笔记 by 车东

控制Yahoo!Slurp China蜘蛛的访问频度 Crawl-delay: 1000 的效果

· 日志分析|Analytics

📌 TLDR

给 Yahoo! Slurp China 蜘蛛设 Crawl-delay: 100 的效果:它的访问频度比一般引擎高 4–5 倍(文中附了抓取统计),所以很有必要单独控制。

Crawl-delay: 100 的访问频度:Yahoo! Slurp比一般引擎高4-5倍

Yahoo Slurp	95899+234	415.40 M字节	2007年 9 月 30日 23:58
Yahoo! Slurp China	81349+165	479.04 M字节	2007年 9 月 30日 23:59
Googlebot	17741+518	96.31 M字节	2007年 9 月 30日 23:47

Crawl-delay: 1000 的访问频度: Slurp已经恢复到和其他引擎相同水平

Googlebot	22448+413	196.22 M字节	2007年 11月 21日 23:53
Yahoo! Slurp China	15881+192	116.92 M字节	2007年 11月 21日 23:57
Yahoo Slurp	10661+155	98.77 M字节	2007年 11月 21日 23:59

参考文档: 如何控制Yahoo! Slurp蜘蛛的抓取频度

💬 历史评论

以下 2 条评论从旧版 Movable Type 博客迁移而来。 原始评论时间:2002–2016 年。

fisher · 2007-11-30 11:26

现在一般站点的访问量中,蜘蛛的访问占比高达60~80%。这简直有点垃圾邮件那类特性了?


xingxing · 2007-12-02 12:18

Googlebot似乎不支持Crawl-delay?