笔记 by 车东

搜索引擎蜘蛛多长时间更新一次DNS

为了加快抓取速度,专业的搜索引擎大部分有DNS缓存:但是搜索引擎多长时间更新一次,3月4日的时候cnblog.org进行了一次IP切换。旧服务器上的日志和统计并没有停止:AWStats数据统计如下。

虽然大部分的spider访问很快迁移到新的服务器上了:但是很多spider仍然没有来得及更新DNS。 大搜索引擎中:反应最快的是MSNBot,当天之后就再也没有来访问过。Google用了1周左右,百度前天还在访问,而Yahoo的Slurp抓取仍然没有中断。而其他一些蜘蛛引擎:一般在当天就更新了DNS,缓存时间比较短。