Crawl-delay: 100 的访问频度：Yahoo! Slurp比一般引擎高4-5倍

Crawl-delay: 1000 的访问频度： Slurp已经恢复到和其他引擎相同水平

参考文档： 如何控制Yahoo! Slurp蜘蛛的抓取频度