笔记 by 车东

基于RSS/FEED的内容发现更节省带宽

· Feed | RSS

Jen的文章AdSense mediapartners蜘蛛已经被抓取到了Google的主搜索索引中,我目前还没有发现类似样例,大部分内容还是通过Googlebot发现,但是提交到Sitemaps中的内容已经是通过Google的Feedfetcher进行同步了。

从日志统计中也可以看出来,虽然FEED的访问频度要比以前的蜘蛛高很多,但是由于有文件是否更新的检查,占用的带宽却不一定升高。因此基于FEED的新内容发现比蜘蛛遍历网站效率还是要高很多。以下是一些日志统计的结果: