AWStats的千万级日志解决方案:日报表 databasebreak=day + Canlendar.php 日历浏览


你完全不用耐心的看完后面所有的说明,awstats在进行日志统计时,
命令行统计增加: -databasebreak=day
报表输出时增加: &databasebreak=day&day=DD
即可按天进行统计, 解决按月统计,归档数据过大导致统计过慢/失败的问题。

问题:
很多网站在流量从10万级增加到百万级以后就放弃了awstats作为统计,具体表现就是到月底的时候,统计数据会运行1天都运行不完。于是就改为webalizer或者analog了。其实这并非awstats统计效率不高:awstats很多丰富的统计指标:蜘蛛识别 浏览器识别,文件类型统计等,都是比Webalizer丰富的,Webalizer要实现类似的统计力度也会出现性能问题。

原因分析:
性能的瓶颈在哪里呢:awstats统计缺省时按月统计,到月底时候记住的头20多天的历史IP等累计统计指标,会使得DUMP数据文件变得很大(数百M),而awstats运行时,需要的内存量是dump数据文件的3-4倍。当这个monthly积累的数据导致awstats统计脚本载入内存的数据量过大,用到系统文件交换做内存的时候日志统计效率就会降低了(处理速度会低2-3个数量级),于是出现了运行一天都统计不完前一天日志的现象。

解决:
AWStats丰富的统计指标还是很有用的,而一个网站已经达到日千万级的访问请求,按天的详细的数据统计也是必须的了。所以:索性牺牲一下按月的独立IP统计,将日志改成按天统计,如果需要按月的汇总,可以利用awstats的dump数据成为一个中间数据源汇总统计。

其他问题:
1 按天的报表浏览:用Calendar.php做个日历浏览界面;
按天统计后,awstats的输出文件会变成awstatsMMYYYYDD.confname.txt 每天一个统计文件,而报表的输出需要增加 &databasebreak=day&day=DD 来指定某一天的数据。增加了日期后,awstats的报表输出有些不方便,awstats本身没有提供按日的浏览,可以自己做个日历前端,方便awstats的报表浏览。
2 日志数据源:最好是压缩的,因为日志上2G以后,文件系统出问题的可能性大。尽量还是压缩日志后,通过zcat管道给awstats进行统计;

类似的思路:
1 如果 databasebreak=day 仍然无法解决问题, 排除掉次要统计指标:过滤掉图片 js css等文件的请求日志;
2 如果仍然没有办法解决问题: 设置为小时级别截断 databasebreak=hour 然后用每天的同一个小时(比如:下午5点-6点)做为1天的抽样,进行每天的数据跟踪;

总之:为了统计精度/完整性牺牲重要的统计统计指标是不值得的。当流量提高到百万级别,即使损失了n%的精度,对于做出结论已经足够了。而且利用awstats 的dump data作为中间处理结果,进行数据挖掘也是很方便的(大部分是CSV,分项的很容易用grep截取分离出来)。

作者:车东 发表于:2007-03-07 21:03 最后更新于:2007-12-19 09:12
版权声明:可以转载,转载时请务必以超链接形式标明文章 的原始出处和作者信息及本版权声明

引用通告

以下是前来引用的链接: AWStats的千万级日志解决方案:日报表 databasebreak=day + Canlendar.php 日历浏览:

» 网站的外链/内链统计:来自Google的网站管理员工具 来自 车东[Blog^2]
Google的网站管理员工具有这样一个功能:查询相应网站的外链/内链数量和明细。从控制台,点击一个已经提交的网站:控制台 > http://www.chedong.com/blog/ > 含外部链接的网页 > 以下是导出的部分 chedong.com/blog的外链数量统计: 可惜不是按外链数量排序的,可以导出成EXCEL,报表如下: http://www.chedong.com/blog/ 17471http://www.chedong.com/blog/in... [阅读更多细节]

Comments

同意同意~ 曾经做过Desney的手机网站,一天Log 1600MB,疯...

确实如此,以前每到月底myjob的统计就是一个漫长痛苦的过程,在分析猜测得出的车老大所说的原因后,就改成按天统计了,不过不知道-databasebreak=day参数,每次都是分析得出报表后就移至相应的日期目录了。这样4G左右的日志也只需1个半小时就能搞定了,并且按天得出的报表对于运维的帮助更大,月度统计则通过每日记录的EXCEL文件搞定了。

这样4G左右的日志也只需1个半小时就能搞定了,并且按天得出的报表对于运维的帮助更大,月度统计则通过每日记录的EXCEL文件搞定了。

是不是我的參數設置有很大問題,我的網站日IP只有1万卻經常不能把每天的日誌分析完,我是用任務計劃每天晚上11點啓動統計命令,但是到第二天下午可能才能夠完成統計。是怎麽囘事?哪位能指點一下,不甚感激:)

恭喜恭喜:)

听说你得了个女儿?
恭喜先
没在这里公布啊?

你好,我改成按天分析后,6.5g的日志8个小时也分析不完,在系统管理器中perl的cpu占25%左右,虽然cup空闲。在我本机就快多了,cpu占有率100%,请问还需要设置什么地方呢?

服务器 是win2003,我的机器是win2000,请问跟这个有关系吗?谢谢

我5g多的日志 分析8个小时 请问是不是不正常啊

我现在用awstats分析,网页数偏大,因为网站用的shtml,页面里面嵌了好多别的“碎片”网页来显示,现在看awstats把这些都算在网页数里面去了,甚至连首页的登陆窗口嵌的php也算作一份了,请问有什么好办法能让awstats不统计这些页面,只统计url地址框里面“真正”的网页数?

,请问有什么好办法能让awstats不统计这些页面,只统计url地址框里面“真正”的网页数?

这简直~~~哎

有这类问题的还真不少,最近一次聚会上有人也这么提过。

若按车东的这片介绍(印象中起码还有另外一篇相关介绍),增加内存是个好办法?

对于2G以上的日志,有其他好办法推荐么?

我每天100个G啊

请问,除了“月独立IP”,还有其他损失么?

车东兄
小兄弟刚接触awstats不久,现在想awstats按天统计,并生成报表,看了你的文章后,自己练习,
----命令行统计增加: -databasebreak=day
报表输出时增加: &databasebreak=day&day=DD
即可按天进行统计, 解决按月统计,归档数据过大导致统计过慢/失败的问题-----
我用命令"# perl awstats.pl -config=test -update -databasebreak=day "输出了按天统计,
接下就不如何用你所说的"&databasebreak=day&day=DD"按开生成报表,

能否把命令行写得详细一点...谢谢!

1,AWStats支持gz文件,所以不用zcat,并且,zcat管道如果文件太大会溢出。

2,超过2G文件系统出问题的原因是因为是32bit系统,换成64bit就没问题了。

发表一个评论

(如果你此前从未在此 Blog 上发表过评论,则你的评论必须在 Blog 主人验证后才能显示,请你耐心等候。)

Creative Commons License
此 Blog 中的日记遵循以下授权 Creative Commons(创作共用)授权.
Powered by
Movable Type 3.36