为了加快抓取速度，专业的搜索引擎大部分有DNS缓存：但是搜索引擎多长时间更新一次，3月4日的时候cnblog.org进行了一次IP切换。旧服务器上的日志和统计并没有停止：AWStats数据统计如下。
搜索引擎网站的机器人 (前 10) - 全部列出 - 最近参观日期 35 个机器人* 文件数 字节 最近参观日期 Sina Iask 2509 38.61 M字节 2006年 三月 09日 18:32 OutfoxBot 838 9.81 M字节 2006年 三月 15日 02:31 Yahoo Slurp 419+66 6.09 M字节 2006年 三月 19日 21:38 BaiDuSpider 137+36 2.17 M字节 2006年 三月 18日 06:31 Googlebot 147+2 1.74 M字节 2006年 三月 11日 19:03 Unknown robot (identified by 'crawl') 130+1 1.56 M字节 2006年 三月 18日 13:33 Turn It In 93 236.54 K字节 2006年 三月 04日 01:33 MSNBot 80+7 1.52 M字节 2006年 三月 04日 04:37 BecomeBot 77+2 920.27 K字节 2006年 三月 04日 13:37 Bloglines 71 43.51 K字节 2006年 三月 04日 04:08
虽然大部分的spider访问很快迁移到新的服务器上了：但是很多spider仍然没有来得及更新DNS。
大搜索引擎中：反应最快的是MSNBot，当天之后就再也没有来访问过。Google用了1周左右，百度前天还在访问，而Yahoo的Slurp抓取仍然没有中断。而其他一些蜘蛛引擎：一般在当天就更新了DNS，缓存时间比较短。
作者：车东 发表于：2006-03-20 13:03 最后更新于：2007-04-17 11:04
版权声明：可以转载，转载时请务必以超链接形式标明文章 搜索引擎蜘蛛多长时间更新一次DNS 的原始出处和作者信息及本版权声明。
http://www.chedong.com/blog/archives/001132.html
版权声明：可以转载，转载时请务必以超链接形式标明文章 搜索引擎蜘蛛多长时间更新一次DNS 的原始出处和作者信息及本版权声明。
http://www.chedong.com/blog/archives/001132.html
Comments
这表示什么意思呢？
由: 老熊 发表于 2006年03月20日 晚上10时54分
YAHOO的抓取也是比较快的!!
由: art01 发表于 2006年04月07日 下午06时37分
车东大侠，有一个问题想请教你。
我现在定时运行日志分析
#update awstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl －update -config=chedong)
可以分析出来结果，可是只能出一次的结果啊，到第二天分析日志的时候，看到awstat/data/awstats072007.sitename.txt 这个文件的改动日期是有改变，但是内容大小还是没有改变啊？我现在的数据只能看到分析当天的数据，之后的数据都不会更新了。该怎么办呢？
我的意思是想每天分析log的结果追加到awstats072007.sitename.txt这个txt文件里，可以查看一直的数据。
由: 小蜜蜂 发表于 2007年07月27日 上午10时21分
车东大侠：
你好！
我们是一家保险网站，www.qzr.cn，圈中人保险网，我们网站在行业一直很有影响力，但是百度搜索自7.27日起就开始没有收录我们的新网页了，而且每天的SITE数量不断减少，我们估计被百度封杀了，但是我们检查了网页，没有作弊的地方，不知如何是好？能否请您帮助分析一下？
原先搜有关保险的内容我们都可以排在前几页，但现在都消失了，我们很着急，请您帮帮我们，多谢！
由: 圈中人 发表于 2007年08月19日 晚上09时45分
服务器更换IP，是否对百度机器人抓取信息有影响？
由: jerry 发表于 2007年10月29日 下午05时23分
您好车东大侠，我是河南雏鹰农牧股份有限公司的，谷歌上面抓取的网页快照，是我们公司不存在，怎么样才能尽快去掉！
由: 文静 发表于 2010年01月27日 下午01时52分