利用Python中的pandas库对cdn日志进行分析详解(利用Python中的turtle绘制乡村振兴)

编辑：rootadmin

推荐整理分享利用Python中的pandas库对cdn日志进行分析详解(利用Python中的turtle绘制乡村振兴)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python%怎么用,python用pi,利用Python中的运算符可以解决哪些问题,利用Python中的方法和函数提取出给定列表,利用Python中的运算符可以编程解决你身边的那些问题,利用Python中的turtle,利用Python中的运算符可以编程解决你身边的那些问题,利用Python中的turtle,内容如对您有帮助，希望把文章链接给更多的朋友！

前言

最近工作工作中遇到一个需求，是要根据CDN日志过滤一些数据，例如流量、状态码统计，TOP IP、URL、UA、Referer等。以前都是用 bash shell 实现的，但是当日志量较大，日志文件数G、行数达数千万亿级时，通过 shell 处理有些力不从心，处理时间过长。于是研究了下Python pandas这个数据处理库的使用。一千万行日志，处理完成在s左右。

代码

pandas 学习笔记

Pandas 中有两种基本的数据结构，Series 和 Dataframe。 Series 是一种类似于一维数组的对象，由一组数据和索引组成。 Dataframe 是一个表格型的数据结构，既有行索引也有列索引。

Series

Series的字符串表现形式为：索引在左边，值在右边。没有指定索引时，会自动创建一个0到N-1（N为数据的长度）的整数型索引。可以通过Series的values和index属性获取其数组表示形式和索引对象:

通常创建Series时会指定索引:

通过索引获取Series中的单个或一组值：

排序

筛选运算

成员

通过字典创建Series

如果只传入一个字典，则结果Series中的索引就是原字典的键（有序排列）