site:chedong.com crawled by
📌 TLDR
一年后再做一次 site:chedong.com crawled by 试验，横向对比几家自有引擎的蜘蛛：Google 的版本号没变但网段不同 UA 前缀也不同（有的带 Mozilla/5.0）、摘要还原均匀可读；百度、MSN、雅虎、搜狗、中搜、新浪各有差异。这个方法的价值就是让各家蜘蛛自己"报出"抓取时间、IP 和身份，再看结果页的摘要质量。
一年前做的一个小试验：车东[Blog^2]: 让搜索引擎Spider告诉你：什么时间，从哪里，用什么身份抓取了你的网站 今天这个试验又查了一遍：看看百度、Google、MSN、雅虎、搜狗、中搜、新浪这几家拥有自主后台网页引擎的在过去一年的发展。
site:chedong.com crawled by这个命令在各个引擎上几乎都是通用的。虽然显示出来的User Agent信息是各个搜索引擎蜘蛛团队的举手之劳：但从一些细节上还是能看到很多差异。
Google 车东Che, Dong - My Window, Your Bridge 联系方式|Contact]. Google Talk · 雅虎招聘 [My Bloginality is INTJ]. Alexa流量统计：, 2006-02-25 11:39 @66.249.64.15 Crawled by **Googlebot/2.1 (+http://www.google.com/bot.html) **show this page source · Send me a book. www.chedong.com/ - 39k - 2006年2月24日 - 网页快照 - 类似网页
uniq - phpMan - [ 翻译此页 BETA ] On Apache/1.3.34 (Unix) mod_perl/1.29 mod_gzip/1.3.26.1a PHP/4.4.2 Under GNU General Public License · 2006-02-18 11:16 @66.249.65.5 Crawled by** Mozilla/5.0 (compatible; Googlebot/2.1; **+http://www.google.com/bot.html) · Valid XHTML 1.0! … www.chedong.com/phpMan.php/man/uniq - 5k - 网页快照 - 类似网页
Google的蜘蛛版本没有变化，但是从不同网段来的有些有Mozilla/5.0前缀，有些则没有，页面摘要很均匀，还原/可读性较好。
百度 车东 Che, Dong - My Window, Your Bridge by Fernada Viégas, Martin Wattenberg & myself. for all those infosthetically minded …Crawled by Baiduspider+(+http://www.baidu.com/search/spider.htm) show this page sourceSend me … www.chedong.com/ 41K 2006-2-25 - 百度快照 蜘蛛很规范，但是从上下文摘要中：似乎对原文多滤掉了一些标点，从搜索结果看：所有英文内容都被滤掉了。抓取/更新很快
雅虎 车东 Che, Dong - My Window, Your … 车东 Che, Dong - My Window, Your Bridge. Sat 25 February, 2006. 据说 … 93 Crawled by Mozilla/5.0 (compatible; Yahoo! **Slurp China **… www.chedong.com - 42K - 2006年02月25日 - 网页快照 - 更多此站结果
Slurp China是从中国进行的抓取，site:命令参数被当成关键词标引，而摘要中的“上文”被截断太多，有些影响可读性，摘要/除重仍然是明显的问题；
MSN #车东 Che, Dong - My Window, Your Bridge My Bloginality is INTJ ] Alexa流量统计： 2006-02-24 15:18 @65.54.188.102 Crawled by msnbot/1.0 (+http://search.msn.com/msnbot.htm) show this page source * www.chedong.com * Cached page * 2/24/2006 去年的试验时： MSNBot的版本号是0.3，今年是1.0 综合表现进步很快；
其他几个引擎：目前尚未看到遵循robots.txt协议
搜狗 车东 Che, Dong - My Window, Your Bridge [联系方式|Contact] Alexa流量统计: 2006-02-06 14:27 @220.181.19.92 Crawled by sogou spider . Ada’s Blog 艾达思语 UrMap:台版GoogleMaps . Jan’s Tech Blog Helen Zawodny: 1922 - 2006 …. chedong.com/ - 47k - 2006-02-06 - 网页快照
sohu agent最近看不到了，已经改成了sogou agent，但是可能搜狗的链接提取环节提取却出了不少问题： 因为看到sogou踪迹的全部都是在error_log里：根据220.181.19.92这个IP的分析 error_log:[Fri Feb 17 09:37:24 2006] [error] [client 220.181.19.92] File does not exist: /home/apache/chedong.com/www/phpman.php error_log:[Fri Feb 17 09:43:50 2006] [error] [client 220.181.19.92] File does not exist: /home/apache/chedong.com/www/tech/awstats.htm error_log:[Fri Feb 17 10:06:42 2006] [error] [client 220.181.19.92] File does not exist: /home/apache/chedong.com/www/<:a href=‘http:/www.empirecn.net/program/php/’ target=_blank>:php<:/a>:Man.<:a href=‘http:/www.empirecn.net/program/php/’ target=_blank>:php<:/a>: 原来大量的404错误都是搜狗的蜘蛛带来的: 1 不正常将原始URL编程小写字母； 2 在页面url不规范的时候，没有纠错处理；
中搜 clear(1) - phpMan …5) clear(1) Generated by $Id: phpMan.php,v 4.42 2005/02/10 11…06 @202.108.1.8 Crawled by User-Agent: Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0) www.chedong.com/phpMan.php/man/clear… 上的更多结果 2005-03-21 中搜快照 一如既往的仍然伪装成Windows 2000来抓取你的网页
新浪 mytime(2) - phpMan GNU General Public License2005-08-15 02:57 @219.142.78.246 Crawled by Mozilla/4.0(compatible;MSIE 6.0;Windows NT 5.0;.NET CLR 1.1.432)… www.chedong.com/phpMan.php/man/myti… 2005-08-15 - 网页快照 收藏此网页 去年7,8月份还是伪装成Windows 2000上的IE。
rndc(5) - phpMan GNU General Public License2006-02-20 05:19 @219.142.78.87 Crawled by iaskspider... www.chedong.com/phpMan.php/man/rndc/5/ 2005-12-11 - 网页快照 收藏此网页 12月份以后改成了IaskSpider
💬 历史评论
以下 3 条评论从旧版 Movable Type 博客迁移而来。 原始评论时间：2002–2016 年。
andy_haha · 2006-02-27 19:07
兄弟我又学了一招. 虽然简单,但思路可贵. 在 163时，也想过如何记录google爬过我们的页面的时间，做个统计什么的。应该也想了一个小时，未果，后来就不了了之了。今在你处得到思路，真是感谢。
andy_haha · 2006-02-27 19:10
不过，车东给你一点小意见：在文章中分支出去的链接，最好用下 target=_blank 。
The Beijinger · 2007-11-26 15:44
Hi there!
I was perusing your site and noticed that you have a link to us on your site – thanks for that – and this is just a quick note to let you know that we’ve changed our URL – from the original www.thatsbj.com to the new www.thebeijinger.com.
Pop by and you’ll notice the content remains the same, as always, including:
– Beijing’s most active free classifieds; – An oft-used (and occasionally abused!) bbs – Our extensive Beijing directory and events listings – The online archive of articles from that’s Beijing magazine – A large collection of Beijing-related links – An online gallery of Beijing party and event photos – And our new web-only content posted daily in our tbjblog
Thanks again for linking to us and please send us a message any time if you have any questions!
Victoria
the Beijinger Web Editor