本文主要记录下给予python的nginx日志统计过程,主要原因是最近系统经常遭到未知程序的疯狂爬数据,虽然做了防爬机制,但是还是必须要找出是哪些IP访问次数比较多。想到的办法就是通过分析ngxin日志,从而找出这些IP排行即可。具体方案的操作步骤包括:
- ngxin日志每日切割功能;
- 设置ngxin的日志格式;
- 编写python代码在每日切割之前统计下access.log中的IP访问次数并将统计结果录入MongoDB;
- 编写web查询MongoDB进行统计。
下面按照每个步骤详细说明。
一、nginx日志每日切割功能
该功能主要通过自己编写shell脚本实现,然后将shell脚本通过crontab设置任务周期。
shell脚本如下:
#!/bin/bash ## 零点执行该脚本 ## Nginx 日志文件所在的目录 LOGS_PATH=/usr/local/nginx/logs ## 获取昨天的 yyyy-MM-dd YESTERDAY=$(date -d ”yesterday” +%Y-%m-%d) ## 移动文件 mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${YESTERDAY}.log ## 向 Nginx 主进程发送 USR1 信号。USR1 信号是重新打开日志文件 kill -USR1 $(cat /usr/local/nginx/nginx.pid)
加入crontab
0 0 * * * /bin/bash /usr/local/nginx/sbin/cut-log.sh
二、设置ngxin日志格式
打开nginx.conf配置文件,在server段中加入
log_format access '$remote_addr - $remote_user [$time_local] "$request"' '$status $body_bytes_sent "$http_referer"' '"$http_user_agent" $http_x_forwarded_for'; access_log /usr/local/nginx/logs/access.log access;
加入成功后重启ngxin
./nginx -s reload
三、编写python代码在每日切割之前统计下access.log中的IP访问次数并将统计结果录入MongoDB;
下载pymongo,上传到服务器,并安装
# tar zxvf pymongo-1.11.tar.gz # cd pymongo-1.11 # python setup.py install
python连接mongodb样例
$ cat conn_mongodb.py #!/usr/bin/python import pymongo import random conn = pymongo.Connection("127.0.0.1",27017) db = conn.tage #连接库 db.authenticate("tage","123") #用户认证 db.user.drop() #删除集合user db.user.save({'id':1,'name':'kaka','sex':'male'}) #插入一个数据 for id in range(2,10): name = random.choice(['steve','koby','owen','tody','rony']) sex = random.choice(['male','female']) db.user.insert({'id':id,'name':name,'sex':sex}) #通过循环插入一组数据 content = db.user.find() #打印所有数据 for i in content: print i
编写python脚本
#encoding=utf8 import re zuidaima_nginx_log_path="/usr/local/nginx/logs/www.zuidaima.com.access.log" pattern = re.compile(r'^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}') def stat_ip_views(log_path): ret={} f = open(log_path, "r") for line in f: match = pattern.match(line) if match: ip=match.group(0) if ip in ret: views=ret[ip] else: views=0 views=views+1 ret[ip]=views return ret def run(): ip_views=stat_ip_views(zuidaima_nginx_log_path) max_ip_view={} for ip in ip_views: views=ip_views[ip] if len(max_ip_view)==0: max_ip_view[ip]=views else: _ip=max_ip_view.keys()[0] _views=max_ip_view[_ip] if views>_views: max_ip_view[ip]=views max_ip_view.pop(_ip) print "ip:", ip, ",views:", views #总共有多少ip print "total:", len(ip_views) #最大访问的ip print "max_ip_view:", max_ip_view run()
上面程序运行结果:
ip: 221.221.155.53 ,views: 1 ip: 221.221.155.54 ,views: 2 total: 2 max_ip_view: {'221.221.155.54': 2}
更多java架构应用文章,欢迎访问http://arching.wc.lt
相关推荐
Nginx日志描述 通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息;通过错误日志,你可以得到系统某个服务或server的性能瓶颈等。因此,将日志好好利用,你可以得到很多有价值的...
windows 下nginx 日志切割 结合windows任务计划,实现每天备份日志,并reopen nginx
windows版Nginx日志分析工具2.1.0
docker安装goaccess nginx实现nginx日志统计分析,具体操作查看我的博客
基于docker-compose的loki+grafana+nginx一键部署
goaccess nginx日志分析工具
nginx日志自动定时切割及清除脚本
Linux系统Nginx日志解决方案.docx
Filebeat实时收集Nginx日志说明之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash实在太消耗资源了
介绍几款nginx日志分析图形化工具.zip
Nginx日志切割脚本
网上查了一下nginx日志记录post请求的内容的方法,主要都是通过LUA实现的,我不知道什么是LUA,因此仅用proxy_pass指令实现保存post请求的内容
nginx日志分析命令,可以帮你使用命令获取nginx服务器上所需日志内容
基于ELK的nginx-qps监控解决方案.docx
流量带宽请求状态统计 ngx_req_status用来展示nginx请求状态信息,类似于apache的status,nginx自带的模块只能显示连接数等等信息,我们并不能知道到底有哪些请求、以及各url域名所消耗的带宽是多少。ngx_req_status...
实验一:Nginx日志配置 实验目的 熟悉nginx并进行nginx日志配置 实验内容 查看配置文件信息 打开nginx主配置文件 配置nginx日志 实验环境 kali系统 实验步骤 1.查看nginx版本情况 在kali中输入“nginx -t”来查看...
也许在目前许多学者都不知道如何分析Nginx日志,Linux系统日志下的Nginx 日志可以查看系统运行记录和出错说明,对Nginx 日志的分析可以了解系统运行的状态。那么Linux系统Nginx日志怎么分析呢?下面小编为你详解一下...
本解本实现了使用shell脚本实现nginx日志分割,大家如果没资源分下载,可以转至:https://mp.csdn.net/mdeditor/85233117# 去查看源代码。谢谢大家
本文主要给大家总结了关于Nginx日志统计分析的一些常用命令,分享出来供大家参考学习,下面来一起看看详细的介绍: 一、IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一...
nginx日志测试使用 access.log.zip