最近很多站点都发现了一个名叫hl_ftien_spider的蜘蛛，这个蜘蛛的抓取频度：可是相当的厉害，几乎和DoS攻击差不多，自然也引起了不少公愤：

看看WebMasterWorld上的评论：

我今天从服务器的突然后台负载增高也发现了这个蜘蛛，上月的一次大量抓取来自上海某高校，当时不得不将我的twiki改成了认证登录。

网站稍微差一点的都会承受不住压力的。我今天顺着来源的IP地址看了一下，http://60.28.249.27/ 这不是海量的DIGDIG搜索引擎的论坛吗？

给海量提个建议： 将蜘蛛的抓取频度控制一下。抓取网站链接的任务队列尽量根据域名/IP地址分布的均匀一些。hl_ftien_spider就是： HaiLiang Full Text Index English Spider的缩写。另外：我也很奇怪，海量为什么没有成为中国的BasisTech呢？