遭遇Referer Spam


从最近的流量统计中发现了非常奇怪的现象:某些PV很大的来源流量居然为0


IP地址 国家 PV 流量
69.28.242.87 US 11452 0.28 M字节
64.193.62.232 US 10521 0
66.246.218.107 US 6010 54.59 M字节
69.73.166.108 US 5630 0
61.183.207.98 CN 3047 27.06 M字节
221.11.5.181 CN 2392 66.88 M字节
66.246.120.114 US 2207 0

从原始日志上看:都是类似以下的0流量 HEAD请求


69.28.242.87 - - [29/Dec/2005:13:41:10 +0800] "HEAD / HTTP/1.1" 200 0 "http://bankruptcy.dynu.net/buy-cialis/buy-cheap-cialis.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" 69.28.242.87.253451135834870862
69.28.242.87 - - [29/Dec/2005:13:45:24 +0800] "HEAD / HTTP/1.1" 200 0 "http://medportal.dynu.net/mortgage/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" 69.28.242.87.262371135835124636
69.28.242.87 - - [29/Dec/2005:13:52:51 +0800] "HEAD / HTTP/1.1" 200 0 "http://fenikrul.white.prohosting.com/phentermine-online.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" 69.28.242.87.279061135835571753
69.28.242.87 - - [29/Dec/2005:14:04:05 +0800] "HEAD / HTTP/1.1" 200 0 "http://fenikrul.white.prohosting.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" 69.28.242.87.269751135836245577
69.28.242.87 - - [29/Dec/2005:14:13:17 +0800] "HEAD / HTTP/1.1" 200 0 "http://medportal.dynu.net/buy-viagra/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" 69.28.242.87.302561135836797409

每次请求“客户端”只向服务器发送请求,但是目的是为了能将referer中的地址被统计到当前网站的统计系统中,如果统计系统是对外公开的话而且是有超链形式的链接的话(虽然几率非常低),搜索引擎的spider抓取到以后,就会被计坐指向spam网站的链接。一个机器人每天可以对千万级的网站进行referer发送。只要其中十万分之一的网站能够对其中的"中招",大量的反向链接就制造出来了。而被连接的网站可以轻易的得到很高的PageRank;而spam所付出的代价仅仅是向这些网站发送一些空请求的少量带宽. 如何防止这样的HEAD请求呢,谁知道有什么模块可以滤掉这些流量?

其实从日志中还是很容易分析出一些异常的流量的。解决思路首先应该是杜绝awstats等统计对搜索引擎蜘蛛的访问, 我增加了http认证: 或者将所有连接针对spider设置nofollow.


2005-12-30更新:
感谢朋友们给我提供了那么多素材:
http://groovymother.com/archives/2005/01/21/hiding_referer_s.html mod_rewrite应该是更好的解决方案: 但是应该针对HEAD请求 而不是识别REFERER或者指定IP. mod_limitipconn是用来限制并发访问的, 这种spam应该对后台性能影响并不大(spam每隔4-5分钟发送一个请求).只是凭空多计算了很多没有意义的流量来源.



2005-12-30 更新
Eygle这里还有一个例子: 如果哪位需要AWStats统计和Analytics方面的技术支持.我愿意免费提供.

作者:车东 发表于:2005-12-29 16:12 最后更新于:2007-04-15 19:04
版权声明:可以转载,转载时请务必以超链接形式标明文章 的原始出处和作者信息及本版权声明

Comments

最近我也碰到了,TNND,头都痛了,我就搞不懂,咋有如此无耻的行为啊?!

RewriteEngine On
RewriteCond %{HTTP_HOST} !^example.com$ [NC]
RewriteCond %{HTTP_REFERER} ^(.*)$ [NC]
RewriteRule ^(.*)$ %1 [R=301,L]

半解决方案

再就是修改awstats 也应该可以办到

http://groovymother.com/archives/2005/01/21/hiding_referer_s.html

这个或许值得参考

试一下mod_limitipconn?

不会吧,这么偏门的东西都能有人想到?

还是直接杀掉这些垃圾ip比较好

我的办法是修改awstats.pl把$field[$pos_method] eq 'HEAD'去掉。

回复 XWood
很好的解决方案

請問asp asp.net html 要如何防堵呢~謝謝

发表一个评论

(如果你此前从未在此 Blog 上发表过评论,则你的评论必须在 Blog 主人验证后才能显示,请你耐心等候。)

相关文章

关于

此页面包含了发表于2005年12月29日 下午04时19分的 Blog 上的单篇日记。

此 Blog 的前一篇日记是 Firefox扩展查看器:常用插件列表

此 Blog 的后一篇日记是 Google产品地图

更多信息可在 主索引 页和 归档 页看到。

Creative Commons License
此 Blog 中的日记遵循以下授权 Creative Commons(创作共用)授权.
Powered by
Movable Type 3.36