最近从日志里发现了Sohu的Spider的踪迹: 感觉Sohu的蜘蛛命名还是应该更规范一些。

220.181.26.112 - - [24/Oct/2005:12:15:11 +0800] "GET /tech/unicode_java.html HTTP/1.1" 200 12857 "-" "sohu agent"
220.181.26.111 - - [24/Oct/2005:13:00:52 +0800] "GET /tech/resin.html HTTP/1.1" 200 8221 "-" "sohu agent"
220.181.26.111 - - [24/Oct/2005:13:00:52 +0800] "GET /bbcweb/206.htm HTTP/1.1" 200 1870 "-" "sohu agent"

之前写过一篇关于spider跟踪的文章：让搜索引擎Spider告诉你：什么时间，从哪里，用什么身份抓取了你的网站。已经将Sohu agent加入了我的AWStats统计的robots.pm中。

具体网站上的spider是从哪里抓过来的，根据最近几天日志统计的各个引擎的蜘蛛抓取分布和频度统计

Baidu Spider:
   1212 202.108.11.236
    354 202.108.22.88
    352 61.135.145.251
    351 202.108.250.197
    322 202.108.11.241
    199 202.108.250.246
    126 61.135.145.211
     89 202.108.22.76
     64 159.226.50.33
     37 61.135.145.209

GoogleBot
    340 66.249.66.239
    172 66.249.64.30
    165 66.249.71.29
    153 66.249.64.79
    150 66.249.64.66
    148 66.249.64.39
    144 66.249.64.28
    137 66.249.64.55
    132 66.249.64.58
    129 66.249.71.73

Yahoo! Slurp
    284 202.160.180.164
    268 202.160.180.172
    252 68.142.249.115
    252 202.160.180.168
    247 202.160.180.60
    241 202.160.180.154
    237 202.160.180.158
    223 202.160.180.199
    213 202.160.179.120
    212 202.160.180.162

Sohu Agent
    536 220.181.26.113
    384 220.181.26.110
    327 220.181.26.112
    134 220.181.26.109
     79 220.181.26.111
     13 220.181.26.107
     12 220.181.26.74

统计脚本样例：grep -i Googlebot *|awk ‘{print $1}’ |awk -F ‘:’ ‘{print $2}’ |sort|uniq -c|sort -rn |head -10

💬 历史评论

以下 1 条评论从旧版 Movable Type 博客迁移而来。 原始评论时间：2002–2016 年。

wiki · 2005-10-26 09:04

听说导致中文维基被封的就是这个词条 http://spaces.msn.com/members/laoyao91/Blog/cns!1pkqqnndvkxpVrOOyMAyPMcQ!362.entry