分布式应用日志的集中化存储
对于很多分布式的大流量产品(比如:计数器)来说,随着服务器的分布,日志的集中管理就变得有些麻烦:比如前端多台Web Server的日志统计,传统的解决方法是定期(每小时,每天)截断日志,然后通过FTP 传到一台服务器上进行统一处理,在有些日志的计算处理前,还需要考虑日志的排序问题。
更多参考资料: Mod_log_spread: 基于广播的日志分布(Apache模块) Interpreting the Data: Parallel Analysis with Sawzall: 并发的数据分析 大规模系统的关键是设计方便让数据能够被多台服务器并发处理