用处:

1.用lvs之后,放了多台前端用的Web Server，每台Server有各自的日志.我们分开使用分析软件分析和检查是非常困难的,所以我们使用合并的方法.
2.多个域名，日志分开,使用awstats之类的分析软件进行分析很麻烦,所以需要合并
3.使用google的软件来做sitemap之类的应用，检查也会非常麻烦,所以需要合并
4.象多个节点的CDN日志，要进行流量统计和分析需要合并
5.因为日志文件过大,一个服务器生成多个日志文件.象access_log.1、access_log.2、access_log.3...以此类推，所以要合并.
等等.....

问题
对合并，进行日志排序最麻烦的一个问题就是,容易在跨天过程中生成的非正常数据.用一个前辈的话,这些不正常的日志,对awstats之类,就象吃了虫子一样,还有可能冲掉你以前的所有数据。

解决方法1(多谢东东)：
在分析日志前,使用
sort -m -t " " -k 4 -o log_all log1 log2 log3
注释：
-m: 使用 merge优化算法

解决方法2:
使用 awstats 内建的工具logresolvemerge.pl 来合并日志 ，方法非常容易，主要是更改网站的设定档就好了，编辑 /etc/awstats/awstats.php-oa.conf
找到 LogFile 的地方，原来预设单个 log 的设定如下:

LogFile="/var/log/httpd/access_log"（原设置）

修改成
LogFile="/usr/local/awstats/tools/logresolvemerge.pl /var/log/httpd/access_log* |"   (合并分析新的设置)

如上,其实只要 logresolvemerge.pl 的路径还有日志的路径及使用匹配来设置即可，记的后面加一个"|"。注意上面我是要合并 access_log.1、access_log.2、access_log.3 的日志，要是你的日志名为别的，记的使用匹配符来匹配你要一起合并分析的日志.
另外.默认logresolvemerge.pl 是放在 awstats 安装路径的 tools 里面，比如我们的 awstats 是装在/usr/local/awstats 里面，所以完整路径就是 /usr/local/awstats/tools/logresolvemerge.pl 。

编辑保存后，再来执行更新记录的程序即可，如:
#/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=xxx -update

再来进去您的网址就可以看到合并后输出的结果了，如:
http://www.yoursite.com/awstats/awstats.pl?config=xxx

RSS 2.0 | leave a response | trackback