最近从日志里发现了Sohu的Spider的踪迹: 感觉Sohu的蜘蛛命名还是应该更规范一些。

之前写过一篇关于spider跟踪的文章：让搜索引擎Spider告诉你：什么时间，从哪里，用什么身份抓取了你的网站。已经将Sohu agent加入了我的AWStats统计的robots.pm中。

具体网站上的spider是从哪里抓过来的，根据最近几天日志统计的各个引擎的蜘蛛抓取分布和频度统计

统计脚本样例：grep -i Googlebot *|awk ‘{print $1}’ |awk -F ‘:’ ‘{print $2}’ |sort|uniq -c|sort -rn |head -10