读书频道 > 系统 > linux > 构建高可用Linux服务器(第2版)
1.4.3 用shell脚本分析Nginx日志
2012-08-10 18:57:08     我来说两句 
收藏    我要投稿   
本书是资深Linux/Unix系统管理专家兼架构师多年一线工作经验的结晶,51CTO和ChinaUnix等知名社区联袂推荐。第1版上市后广获好评,分别被《程序员》杂志和51CTO网站评选为2011年度10大最具技术影响力的图书和2011...  立即去当当网订购
本节将介绍用Shell脚本来分析Nginx负载均衡器的日志,这样可以快速得出排名靠前的网站和IP等,推荐大家使用线上环境下的Shell脚本。本节中的Shell脚本又分为两种情况,第一种情况是Nginx作为最前端的负载均衡器,其集群架构为Nginx+Keepalived时,脚本内容如下所示:
 
vimlog-nginx.sh
#!/bin/bash
 
if [$# -eq 0 ]; then
 echo "Error: please specify logfile."
 exit 0
else
 LOG=$1
fi
 
if [! -f$1 ]; then
 echo "Sorry, sir, I can't find this apache log file, pls try again!"
exit 0
fi
 
####################################################
echo "Most of the ip:"
echo "-------------------------------------------"
awk '{ print$1 }'$LOG| sort| uniq -c| sort -nr| head -10
echo
echo
####################################################
echo "Most of the time:"
echo "--------------------------------------------"
awk '{ print$4 }'$LOG| cut -c 14-18| sort| uniq -c| sort -nr| head -10
echo
echo
####################################################
echo "Most of the page:"
echo "--------------------------------------------"
awk '{print$11}'$LOG| sed 's/^.*\\(.cn*\\)\"/\\1/g'| sort| uniq -c| sort -rn| head -10
echo
echo
####################################################
echo "Most of the time / Most of the ip:"
echo "--------------------------------------------"
awk '{ print$4 }'$LOG| cut -c 14-18| sort -n| uniq -c| sort -nr| head -10 > timelog
 
for i in 'awk '{ print$2 }' timelog'
do
 num='grep$i timelog| awk '{ print$1 }''
 echo "$i$num"
 ip='grep$i$LOG| awk '{ print$1}'| sort -n| uniq -c| sort -nr| head -10'
 echo "$ip"
 echo
done
rm -f timelog
第二种情况是以Nginx作为Web端,置于LVS后面,这时要剔除掉LVS的IP地址,比如LVS服务器的公网IP地址(如203?93?236?141、203?93?236?145等)。这样可以将第一种情况的脚本略微调整一下,如下所示:
 
#!/bin/bash
if [$# -eq 0 ]; then
 echo "Error: please specify logfile."
 exit 0
else
 cat$1| egrep -v '203.93.236.141|145' > LOG
fi
 
if [! -f$1 ]; then
 echo "Sorry, sir, I can't find this apache log file, pls try again!"
exit 0
fi
 
####################################################
echo "Most of the ip:"
echo "-------------------------------------------"
awk '{ print$1 }' LOG| sort| uniq -c| sort -nr| head -10
echo
echo
####################################################
echo "Most of the time:"
echo "--------------------------------------------"
awk '{ print$4 }' LOG| cut -c 14-18| sort| uniq -c| sort -nr| head -10
echo
echo
####################################################
echo "Most of the page:"
echo "--------------------------------------------"
awk '{print$11}' LOG| sed 's/^.*\(.cn*\)\"/\1/g'| sort| uniq -c| sort -rn| head -10
echo
echo
####################################################
echo "Most of the time / Most of the ip:"
echo "--------------------------------------------"
awk '{ print$4 }' LOG| cut -c 14-18| sort -n| uniq -c| sort -nr| head -10 > timelog
 
for i in 'awk '{ print$2 }' timelog'
do
 num='grep$i timelog| awk '{ print$1 }''
 echo "$i$num"
 ip='grep$i LOG| awk '{ print$1}'| sort -n| uniq -c| sort -nr| head -10'
 echo "$ip"
 echo
done
rm -f timelog
我们可以用此脚本分析文件名为www_tomcat_20110331?log的文件。
 
[root@localhost 03]# sh counter_nginx.shwww_tomcat_20110331.log
大家应该跟我一样比较关注脚本运行后的第一项和第二项结果,即访问我们网站最多的IP和哪个时间段IP访问比较多,如下所示:
 
Most of the ip:
-------------------------------------------
 5440 117.34.91.54
9 119.97.226.226
4 210.164.156.66
4 173.19.0.240
4 109.230.251.35
2 96.247.52.15
2 85.91.140.124
2 74.168.71.253
2 71.98.41.114
2 70.61.253.194
 
Most of the time:
--------------------------------------------
 12 15:31
 11 09:45
 10 23:55
 10 21:45
 10 21:37
 10 20:29
 10 19:54
 10 19:44
 10 19:32
 10 19:13
如果对日志的要求不高,我们可以直接通过Awk和Sed来分析Linux日志(如果对Perl熟练也可以用它来操作),还可以通过Awstats来进行详细分析,后者尤其适合Web服务器和邮件服务器。另外,如果对日志有特殊需求的话,还可以架设专用的日志服务器来收集Linux服务器日志。总之一句话:一切看需求而定。
点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.4.2 Linux下的日志维护技巧
下一篇:1.5 Linux服务器的优化
相关文章
图文推荐
3.3.6 GNOME的软件管
3.3.5 GNOME的文件管
3.3.4 GNOME的窗口管
3.3.3 收藏夹和快捷
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站