位置: IT常识 - 正文
Python解析nginx日志示例(nginx运行python)
编辑：rootadmin推荐整理分享Python解析nginx日志示例(nginx运行python)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:nginx运行python,nginx+python,python-nginx,python apache nginx,python-nginx,nginx+python,python解析nginx日志,nginx+python,内容如对您有帮助，希望把文章链接给更多的朋友！
Python项目的一个需求是解析nginx的日志文件，这里给出详细过程解析。
日志规则描述
首先要明确自己的Nginx的日志格式，这里采用默认Nginx日志格式：
log_formatmain'$remote_addr-$remote_user[$time_local]"$request"''$status$body_bytes_sent"$http_referer"''"$http_user_agent""$http_x_forwarded_for"';其中一条真实记录样例如下：
代码如下:
172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"
其中，客户端型号信息用XXXXXXX代替。
项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下：
ID-ID-YYMMDD-hhmmss
并且所有的日志文件存放在统一路径下。
解决思路
获取所有日志文件path
这里使用Python的glob模块来获取日志文件path
importglobdefreadfile(path):returnglob.glob(path+'*-*-*-*')获取日志文件中每一行的内容
使用Python的linecache模块来获取文件行的内容
importlinecachedefreadline(path):returnlinecache.getlines(path)注意：linecache模块使用了缓存，所以存在以下问题：
在使用linecache模块读取文件内容以后，如果文件发生了变化，那么需要使用linecache.updatecache(filename)来更新缓存，以获取最新变化。
linecache模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。
当然，作为优化，这里可以利用生成器来进行优化。暂且按下不表。
处理日志条目
一条日志信息就是一个特定格式的字符串，因此使用正则表达式来解析，这里使用Python的re模块。
下面，一条一条建立规则：
规则
ip=r"?P<ip>[\d.]*"date=r"?P<date>\d+"month=r"?P<month>\w+"year=r"?P<year>\d+"log_time=r"?P<time>\S+"method=r"?P<method>\S+"request=r"?P<request>\S+"status=r"?P<status>\d+"bodyBytesSent=r"?P<bodybytessent>\d+"refer=r"""?P<refer>[^\"]*"""userAgent=r"""?P<useragent>.*"""</useragent></refer></bodybytessent></status></request></method></time></year></month></date></ip>解析
代码如下:
p=re.compile(r"(%s)\-\-\\[(%s)/(%s)/(%s)\:(%s)\[\S]+\]\\"(%s)?[\s]?(%s)?.*?\"\(%s)\(%s)\\"(%s)\"\\"(%s).*?\""%(ip,date,month,year,log_time,method,request,status,bodyBytesSent,refer,userAgent),\re.VERBOSE)m=re.findall(p,logline)这样，就可以得到日志条目中各个要素的原始数据。
格式及内容转化
得到日志原始数据之后，需要根据业务要求，对原始数据进行格式及内容转化。
这里需要处理的内容包括：时间，request，userAgent
时间格式转化
在日志信息原始数据中存在Dec这样的信息，利用Python的time模块可以方便的进行解析
importtimedefparsetime(date,month,year,log_time):time_str='%s%s%s%s'%(year,month,date,log_time)returntime.strptime(time_str,'%Y%b%d%H:%M:%S')解析request
在日志信息原始数据中得到的request的内容格式为：
/report?XXXXXX
这里只需要根据协议取出XXXXXX即可。
这里仍然采用Python的re模块
importredefparserequest(rqst):param=r"?P<param>.*"p=re.compile(r"/report\?(%s)"%param,re.VERBOSE)returnre.findall(p,rqst)接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码，然后再利用struct模块解构内容：
importstructimportbase64defparseparam(param):decodeinfo=base64.b64decode(param)s=struct.Struct('!x'+bytes(len(decodeinfo)-(1+4+4+12))+'xii12x')returns.unpack(decodeinfo)解析userAgent
在日志信息原始数据中userAgent数据的格式为：
XXX; XXX; XXX; XXX
根据业务要求，只需要取出最后一项即可。
这里采用re模块来解析。
importredefparseuseragent(useragent):agent=r"?P<agent>.*"p=re.compile(r".*;.*;.*;(%s)"%agent,re.VERBOSE)returnre.findall(p,useragent)至此，nginx日志文件解析基本完成。
上一篇：什么是phpcms二次开发？(phpcms二次开发教程)
下一篇：最新2022年Auto Cad2019专用破解版windows11-windows12-32位64位下载（附视频教程）免费下载(学生誓词最新2022年)
