虽然AWStats中提供了蜘蛛的分类统计：

有汇总后的数据，但是每个蜘蛛具体抓取了那些页面和抓取的频度就无法得知了，利用AWStats的扩展配置，统计也可以详细到每个蜘蛛的具体访问（参考了http://www.antezeta.com/awstats.html上的配置样例）。

注意：配置完Extra后可能会遇到以下这样的警告：

如果扩展配置统计的条目较多，比如：蜘蛛抓取的不同URL的个数很多，就需要在全局扩大一下ExtraTrackedRowsLimit这个参数，这个参数不像其他参数一样需要加编号，缺省最多统计500个项目，我扩大到了2万，ExtraTrackedRowsLimit=20000

完整设置如下：

ExtraSectionName6=“Baidu crawls - Top 50” ExtraSectionCodeFilter6=“200 304” ExtraSectionCondition6=“UA,(.Baiduspider.)” ExtraSectionFirstColumnValues6=“URL,(.*)” ExtraSectionFirstColumnFormat6="%s" ExtraSectionStatTypes6=PHBL ExtraSectionAddAverageRow6=0 ExtraSectionAddSumRow6=6 MaxNbOfExtra6=50 MinHitExtra6=1

ExtraSectionName7=“Yahoo Slurp crawls - Top 50” ExtraSectionCodeFilter7=“200 304” ExtraSectionCondition7=“UA,(.Slurp.)” ExtraSectionFirstColumnValues7=“URL,(.*)” ExtraSectionFirstColumnFormat7="%s" ExtraSectionStatTypes7=PHBL ExtraSectionAddAverageRow7=0 ExtraSectionAddSumRow7=7 MaxNbOfExtra7=50 MinHitExtra7=1

ExtraSectionName8=“MSN crawls - Top 50” ExtraSectionCodeFilter8=“200 304” ExtraSectionCondition8=“UA,(.msnbot.)” ExtraSectionFirstColumnValues8=“URL,(.*)” ExtraSectionFirstColumnFormat8="%s" ExtraSectionStatTypes8=PHBL ExtraSectionAddAverageRow8=0 ExtraSectionAddSumRow8=8 MaxNbOfExtra8=50 MinHitExtra8=1

ExtraSectionName9=“Sohu crawls - Top 50” ExtraSectionCodeFilter9=“200 304” ExtraSectionCondition9=“UA,(.sogou.)” ExtraSectionFirstColumnValues9=“URL,(.*)” ExtraSectionFirstColumnFormat9="%s" ExtraSectionStatTypes9=PHBL ExtraSectionAddAverageRow9=0 ExtraSectionAddSumRow9=9 MaxNbOfExtra9=50 MinHitExtra9=1

ExtraTrackedRowsLimit=20000

输出样例： 从中可以发现一些蜘蛛的特点，百度只抓取中文内容，而在robots.txt的遵循上，百度是先抓后删，而Google/Yahoo!/MSN则从抓取队列中就会删除。而仍然不知是谁家的outfoxbot似乎对图片更感兴趣……

Baidu crawls - Top 50 网页数 文件数 字节 最近参观日期 / 8 8 306.07 K字节 2006年 九月 09日 17:22 /robots.txt 4 4 928 个字节 2006年 九月 09日 14:30 /blog/ 4 4 220.84 K字节 2006年 九月 09日 15:34 /linkPopCheck.php 4 4 8.70 K字节 2006年 九月 09日 21:11 /blog/archives/001199.html 4 4 73.53 K字节 2006年 九月 09日 17:22 /phpMan.php 3 3 9.57 K字节 2006年 九月 09日 19:27 /blog/archives/001109.html 2 2 69.52 K字节 2006年 九月 09日 08:34 /tech/google_url.html 1 1 10.40 K字节 2006年 九月 09日 15:34 /blog/archives/001161.html 1 1 17.67 K字节 2006年 九月 09日 14:18 /cgi-bin/mt/mt-atom.cgi/weblog/blog_id=1 1 1 1.07 K字节 2006年 九月 09日 17:55 /blog/archives/000651.html 1 1 12.81 K字节 2006年 九月 09日 18:43 /blog/archives/000638.html 1 1 35.87 K字节 2006年 九月 09日 18:42 /blog/archives/001146.html 1 1 25.33 K字节 2006年 九月 09日 10:38 /blog/archives/000625.html 1 1 22.62 K字节 2006年 九月 09日 18:43 /blog/archives/000220.html 1 1 10.65 K字节 2006年 九月 09日 18:43 /blog/archives/001157.html 1 1 15.73 K字节 2006年 九月 09日 03:37 /digest/20050621.html 1 1 12.36 K字节 2006年 九月 09日 21:11 /blog/archives/000011.html 1 1 24.25 K字节 2006年 九月 09日 07:12 /blog/archives/000454.html 1 1 11.52 K字节 2006年 九月 09日 18:43 /digest/20060120.html 1 1 12.36 K字节 2006年 九月 09日 10:57 /tech/apache_install.html 1 1 12.36 K字节 2006年 九月 09日 01:25 /blog/archives/001052.html 1 1 12.56 K字节 2006年 九月 09日 18:43 /cgi-bin/mt/mt-atom.cgi/weblog/blog_id=1/entry_id=1174 1 1 1.07 K字节 2006年 九月 09日 10:57 /blog/archives/001094.html 1 1 19.27 K字节 2006年 九月 09日 18:43 /blog/archives/000519.html 1 1 16.59 K字节 2006年 九月 09日 18:43 /blog/archives/000950.html 1 1 29.79 K字节 2006年 九月 09日 18:42 /digest/20060908.html 1 1 18.01 K字节 2006年 九月 09日 17:22 /tech/google.html 1 1 12.36 K字节 2006年 九月 09日 15:34 /blog/archives/001164.html 1 1 22.57 K字节 2006年 九月 09日 00:37 /blog/archives/000005.html 1 1 10.27 K字节 2006年 九月 09日 07:12 /blog/archives/001182.html 1 1 16.05 K字节 2006年 九月 09日 03:02 /blog/archives.html 1 1 12.36 K字节 2006年 九月 09日 22:41 /blog/archives/001085.html 1 1 14.31 K字节 2006年 九月 09日 18:43 /blog/archives/001131.html 1 1 27.04 K字节 2006年 九月 09日 11:18 /bbcweb/204.htm 1 1 3.05 K字节 2006年 九月 09日 21:11 /site_search.php 1 1 1.54 K字节 2006年 九月 09日 08:36 /blog/archives/001040.html 1 1 20.35 K字节 2006年 九月 09日 18:43 /blog/archives/001139.html 1 1 24.43 K字节 2006年 九月 09日 18:42 /blog/archives/000859.html 1 1 16.03 K字节 2006年 九月 09日 05:46 /digest/20050926.html 1 1 12.36 K字节 2006年 九月 09日 21:11 /blog/archives/000284.html 1 1 25.01 K字节 2006年 九月 09日 18:43 /blog/archives/2005_12.html 1 1 12.36 K字节 2006年 九月 09日 22:55 /blog/archives/000741.html 1 1 12.36 K字节 2006年 九月 09日 08:35 /blog/archives/000498.html 1 1 10.55 K字节 2006年 九月 09日 18:43 /bbcweb/218.htm 1 1 3.61 K字节 2006年 九月 09日 10:57 /tech/cvs.ppt 1 1 12.34 K字节 2006年 九月 09日 08:40 /blog/archives/000645.html 1 1 14.01 K字节 2006年 九月 09日 18:43 /blog/archives/000632.html 1 1 10.22 K字节 2006年 九月 09日 18:43 /blog/archives/001124.html 1 1 53.21 K字节 2006年 九月 09日 04:14 /blog/archives/001044.html 1 1 13.90 K字节 2006年 九月 09日 08:40 总数 72 72 1.34 M字节

Yahoo Slurp crawls - Top 50 网页数 文件数 字节 最近参观日期 /robots.txt 104 104 23.56 K字节 2006年 九月 09日 23:38 / 16 16 665.58 K字节 2006年 九月 09日 23:36 /blog/archives/001189.html 8 8 102.40 K字节 2006年 九月 09日 22:12 /tech/indent_tools.html 7 7 117.59 K字节 2006年 九月 09日 22:39 /tech/google.html 7 7 251.04 K字节 2006年 九月 09日 23:32 /blog/ 6 6 329.88 K字节 2006年 九月 09日 23:19 /tech/apache_install.html 5 5 90.00 K字节 2006年 九月 09日 23:15 /blog/archives/001196.html 5 5 173.59 K字节 2006年 九月 09日 23:48 /blog/archives/000751.html 5 5 104.12 K字节 2006年 九月 09日 23:21 /blog/archives/001197.html 5 5 174.99 K字节 2006年 九月 09日 22:37 /tech/lucene.html 4 4 136.91 K字节 2006年 九月 09日 23:57 /blog/archives/000828.html 4 4 107.72 K字节 2006年 九月 09日 23:27 /tech/link_pop_check.html 4 4 44.79 K字节 2006年 九月 09日 23:04 /tech/cms.html 4 4 61.17 K字节 2006年 九月 09日 22:13 /tech/awstats.html 4 4 56.19 K字节 2006年 九月 09日 22:58 /linkPopCheck.php 4 4 8.65 K字节 2006年 九月 09日 21:39 /blog/archives/001199.html 4 4 55.15 K字节 2006年 九月 09日 22:14 /blog/archives/000644.html 3 3 81.88 K字节 2006年 九月 09日 19:52 /tech/cvs_card.html 3 3 82.04 K字节 2006年 九月 09日 22:44 /blog/archives/000001.html 3 3 93.52 K字节 2006年 九月 09日 23:23 /blog/archives/001198.html 3 3 35.09 K字节 2006年 九月 09日 22:49 /blog/archives/cat_tech_notes.html 2 2 509.34 K字节 2006年 九月 09日 23:48 /phpMan.php/man/pkgCache::PkgFileIterator 2 2 4.08 K字节 2006年 九月 09日 23:58 /digest/20060908.html 2 2 36.03 K字节 2006年 九月 09日 19:40 /tech/resin.html 2 2 18.64 K字节 2006年 九月 09日 18:24 /blog/archives/000496.html 2 2 32.08 K字节 2006年 九月 09日 18:22 /blog/archives/000741.html 2 2 77.94 K字节 2006年 九月 09日 21:56 /blog/archives/000790.html 2 2 47.28 K字节 2006年 九月 09日 22:03 /phpMan.php/man/FindBin/3 1 1 5.18 K字节 2006年 九月 09日 14:08 /phpMan.php/man/chr/11 1 1 8.74 K字节 2006年 九月 09日 18:47 /phpMan.php/man/Win32::API 1 1 1.98 K字节 2006年 九月 09日 23:02 /phpMan.php/man/ocsp/1ssl 1 1 2.05 K字节 2006年 九月 09日 23:53 /tech/gnu.html 1 1 7.15 K字节 2006年 九月 09日 20:07 /phpMan.php/man/foomatic-datafile/1 1 1 2.01 K字节 2006年 九月 09日 18:21 /phpMan.php/man/pkgCache::PrvIterator 1 1 2.03 K字节 2006年 九月 09日 18:11 /phpMan.php/man/INVARIANT/3 1 1 1.98 K字节 2006年 九月 09日 20:54 /phpMan.php/man/Apache::TestMB 1 1 2.00 K字节 2006年 九月 09日 22:47 /phpMan.php/man/DBM::Deep 1 1 1.98 K字节 2006年 九月 09日 18:34 /phpMan.php/man/Pod::Select 1 1 13.29 K字节 2006年 九月 09日 21:21 /digest/20051218.html 1 1 0 2006年 九月 09日 23:44 /phpMan.php/man/Other::CONST 1 1 1.99 K字节 2006年 九月 09日 23:21 /blog/archives/001146.html 1 1 25.33 K字节 2006年 九月 09日 11:44 /phpMan.php/man/DH_check/3ssl 1 1 2.10 K字节 2006年 九月 09日 16:15 /phpMan.php/man/fxload/8 1 1 11.27 K字节 2006年 九月 09日 19:44 /phpMan.php/man/VOP_LEASE/9 1 1 1.99 K字节 2006年 九月 09日 14:22 /phpMan.php/man/XCopyArea/3x 1 1 1.98 K字节 2006年 九月 09日 14:27 /phpMan.php/man/log/3 1 1 3.07 K字节 2006年 九月 09日 23:28 /digest/20050525.html 1 1 23.48 K字节 2006年 九月 09日 23:41 /phpMan.php/man/Data::Buffer/3 1 1 2.00 K字节 2006年 九月 09日 16:57 /blog/archives/000661.html 1 1 20.83 K字节 2006年 九月 09日 22:28 总数 244 244 3.58 M字节

MSN crawls - Top 50 网页数 文件数 字节 最近参观日期 /robots.txt 9 9 2.04 K字节 2006年 九月 09日 20:38 /phpMan.php/man/getpwnam/lgn 3 3 21.21 K字节 2006年 九月 09日 23:45 /phpMan.php/man/CGI::Session 2 2 53.71 K字节 2006年 九月 09日 23:48 /side_by_side/search_form_utf8.html 2 2 1.57 K字节 2006年 九月 09日 19:06 /phpMan.php/man/munlockall/2 1 1 3.39 K字节 2006年 九月 09日 20:07 / 1 1 6.63 K字节 2006年 九月 09日 16:20 /blog/archives/001083.html 1 1 15.91 K字节 2006年 九月 09日 17:13 /blog/archives/cat_appinstall.html 1 1 98.97 K字节 2006年 九月 09日 19:05 /phpMan.php/man/rpc.nfsd/8 1 1 4.26 K字节 2006年 九月 09日 18:20 /bbcweb/223.htm 1 1 2.48 K字节 2006年 九月 09日 14:26 /blog/archives/001047.html 1 1 19.07 K字节 2006年 九月 09日 17:47 /phpMan.php/man/isdntime/5 1 1 1.94 K字节 2006年 九月 09日 15:09 /phpMan.php/man/SSL_CTX_set_session_cache_mode/3 1 1 8.29 K字节 2006年 九月 09日 20:25 /phpMan.php/man/XML::PerlSAX::DOM 1 1 1.97 K字节 2006年 九月 09日 22:19 /blog/archives/000738.html 1 1 13.47 K字节 2006年 九月 09日 20:38 /phpMan.php/man/unzipsfx/1 1 1 17.98 K字节 2006年 九月 09日 20:45 /phpMan.php/man/mbadblocks/1 1 1 4.64 K字节 2006年 九月 09日 14:10 /phpMan.php/man/wmemchr/3p 1 1 4.37 K字节 2006年 九月 09日 22:51 /blog/archives/000220.html 1 1 10.65 K字节 2006年 九月 09日 14:34 /blog/archives/000208.html 1 1 9.65 K字节 2006年 九月 09日 15:58 /phpMan.php/man/integer/3pm 1 1 11.47 K字节 2006年 九月 09日 22:34 /blog/archives/000550.html 1 1 11.97 K字节 2006年 九月 09日 11:48 /phpMan.php/man/cut/1p 1 1 15.37 K字节 2006年 九月 09日 12:28 /blog/archives/000454.html 1 1 11.52 K字节 2006年 九月 09日 11:58 /phpMan.php/man/adsl-start/8 1 1 3.68 K字节 2006年 九月 09日 22:46 /phpMan.php/man/df/1 1 1 5.58 K字节 2006年 九月 09日 16:00 /phpMan.php/man/mmove/1 1 1 4.82 K字节 2006年 九月 09日 18:36 /blog/archives/2006_03.html 1 1 33.75 K字节 2006年 九月 09日 23:52 /phpMan.php/man/adsl-setup/8 1 1 3.48 K字节 2006年 九月 09日 20:41 /tech/robots.pm 1 1 78.83 K字节 2006年 九月 09日 20:13 /phpMan.php/man/ash/1 1 1 15.46 K字节 2006年 九月 09日 20:56 /blog/archives/001164.html 1 1 22.57 K字节 2006年 九月 09日 17:17 /phpMan.php/man/CGI::Session::ErrorHandler/3pm 1 1 2.11 K字节 2006年 九月 09日 19:57 /phpMan.php/man/sem_open/3p 1 1 9.64 K字节 2006年 九月 09日 23:19 /phpMan.php/man/locale/5 1 1 15.30 K字节 2006年 九月 09日 20:14 /phpMan.php/man/clock/3p 1 1 4.84 K字节 2006年 九月 09日 13:21 /phpMan.php/man/tiffgt/1 1 1 8.38 K字节 2006年 九月 09日 14:40 /blog/archives/001081.html 1 1 14.33 K字节 2006年 九月 09日 18:26 /phpMan.php/man/stime/2 1 1 3.19 K字节 2006年 九月 09日 15:06 /blog/archives/000656.html 1 1 17.83 K字节 2006年 九月 09日 17:33 /tech/google_ads.html 1 1 15.55 K字节 2006年 九月 09日 19:23 /phpMan.php/man/uuid_parse/3 1 1 3.73 K字节 2006年 九月 09日 12:13 /bbcweb/ 1 1 2.40 K字节 2006年 九月 09日 12:45 /phpMan.php/man/SSL_CTX_add_session/3 1 1 4.94 K字节 2006年 九月 09日 21:12 /phpMan.php/man/diskdumpctl/8 1 1 3.28 K字节 2006年 九月 09日 14:55 /phpMan.php/man/passwd/1 1 1 9.06 K字节 2006年 九月 09日 19:43 /blog/archives/000805.html 1 1 20.12 K字节 2006年 九月 09日 17:11 /bbcweb/2.htm 1 1 1.88 K字节 2006年 九月 09日 15:58 /phpMan.php/man/gzcat/1L 1 1 1.93 K字节 2006年 九月 09日 15:15 /phpMan.php/man/string/3 1 1 6.71 K字节 2006年 九月 09日 22:49 总数 62 62 665.90 K字节

Sohu crawls - Top 50 网页数 文件数 字节 最近参观日期 /blog/archives/000955.html 3 3 46.87 K字节 2006年 九月 09日 23:34 /tech/gnu.html 1 1 7.14 K字节 2006年 九月 09日 15:55 /blog/archives/000728.html 1 1 48.14 K字节 2006年 九月 09日 23:00 /blog/archives/000100.html 1 1 15.54 K字节 2006年 九月 09日 19:45 /blog/archives/000012.html 1 1 23.06 K字节 2006年 九月 09日 16:02 /digest/20060701.html 1 1 39.31 K字节 2006年 九月 09日 12:38 /digest/20050823.html 1 1 43.52 K字节 2006年 九月 09日 13:12 /blog/archives/2004_02.html 1 1 48.14 K字节 2006年 九月 09日 20:59 /digest/20060703.html 1 1 45.31 K字节 2006年 九月 09日 20:54 /blog/archives/000646.html 1 1 51.85 K字节 2006年 九月 09日 16:29 /index.php/blog/tech/index.php/side_by_side/google_yahoo.html 1 1 41.31 K字节 2006年 九月 09日 13:27 /blog/archives/001058.html 1 1 70.79 K字节 2006年 九月 09日 11:55 /blog/archives/000267.html 1 1 27.10 K字节 2006年 九月 09日 20:01 总数 15 15 508.09 K字节

OutfoxBot crawls - Top 50 网页数 文件数 字节 最近参观日期 /robots.txt 3 3 696 个字节 2006年 九月 09日 15:53 /blog/archives/newsgator_buzz.png 1 5.95 K字节 2006年 九月 09日 15:53 /blog/archives/pairs.png 1 84.68 K字节 2006年 九月 09日 15:01 /blog/archives/firefox-rss.png 1 29.18 K字节 2006年 九月 09日 15:03 /blog/archives/pairs_wikipedia.png 1 84.56 K字节 2006年 九月 09日 13:19 /blog/archives/newsgator-incoming.png 1 5.82 K字节 2006年 九月 09日 15:02 总数 3 8 210.87 K字节