位置: 编程技术 - 正文

利用shell命令统计日志的方法详解(shell命令su)

编辑:rootadmin

推荐整理分享利用shell命令统计日志的方法详解(shell命令su),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:使用shell命令,使用shell命令,shell命令的用法,shell命令su,shell命令的用法,使用shell命令,使用shell命令,使用shell命令,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

大家都知道,通过使用 shell 命令可以很方便地对日志进行统计和分析,当服务有异常的时候,需要去排查日志,那么掌握一种统计日志的技巧就是必不可少的了。

假设有一个包含下面内容的日志文件 access.log。我们以统计这个文件的日志为例。

不同的服务对应的日志可能不一样,本文使用示例日志的格式是:

注意:mac 系统和 linux 系统中的命令行为可能不同,以下命令请在 linux 系统中使用

排除特殊日志

统计日志时,我们可能不关心 HEAD 请求,或者只关心 GET 请求,这里首先需要筛选日志,可以使用 grep 命令。-v 的含义是排除匹配的文本行。

查看接口耗时情况

我们可以将每行的 time 匹配出来,然后做一个排序。使用 awk 的 match 方法可以匹配正则:

awk 命令使用方法如下:

我们实际上只用到了 action:match($0, /time=([0-9]+.[0-9]+)/, result); print result[1] 这一段。

match 方法接收三个参数:需要匹配的文本、正则表达式、结果数组。$0 代表 awk 命令处理的每一行,结果数组是可选的,因为我们要拿到匹配结果所以这里传入了一个 result 数组,用来存储匹配后的结果。

注意这里的正则我没有使用 d 来表示数字,因为 awk 指令默认使用 “EREs",不支持 d 的表示,具体请看 linux shell 正则表达式(BREs,EREs,PREs)差异比较。

result 数组实际上和 javascript 里的结果数组很像了,所以我们打印出第二个元素,即匹配到的内容。执行完这行命令后结果如下:

当然实际上一天的日志可能是成千上万条,我们需要对日志进行排序,且只展示前 3 条。这里使用到 sort 命令。

利用shell命令统计日志的方法详解(shell命令su)

sort 命令默认从小到大排序,且当作字符串排序。所以默认情况下使用 sort 命令之后 "" 会排在 "8" 前面。那么需要使用 -n 指定按数字排序,-r 来按从大到小排序,然后我们查看前 3 条:

结果:

查看耗时最高的接口

当然我们一般不会只查看接口耗时情况,还需要把具体日志也打印出来,上面的命令就不能满足要求了。

awk 的打印默认是按空格分隔的,意思是 -- GET 这一行如果使用 awk '{print $1}' 会打印出 "--",类似地,$2 会打印出 GET。

根据日志特征,我们可以使用 | 来作为分隔符,这样就能打印出各个我们感兴趣的值了。因为我们想找出耗时最高的接口,那么我们把 time、date 和 url 单独找出来。

awk 的 -F 参数用来自定义分隔符。然后我们可以数一下三个部分按 | 分隔后分别是第几个:time 是第 6 个、date 是第 1 个、url 是第 4 个。

这样打出来结果为:

因为我们想按 time 来排序,而 sort 可以按列来排序,而列是按空格分隔的,我们目前第一列是 time=xxx,是不能排序的,所以这里要想办法把 time= 给去掉,因为我们很鸡贼地把耗时放在了第一列,那么其实再通过 time= 进行分隔一下就行了。

结果:

使用 sort 的 -k 参数可以指定要排序的列,这里是第 1 列;再结合上面的排序,就能把耗时最高的日志打印出来了:

结果:

统计请求次数最多的接口

如果需要统计哪些接口每天请求量是最多的,只需要新引入 uniq 命令。

我们已经可以通过 grep -v HEAD access.log | awk -F '|' '{print $4}' 来筛选出所有的 url,uniq 命令可以删除 相邻 的相同的行,而 -c 可以输出每行出现的次数。

所以我们先把 url 排序以让相同的 url 放在一起,然后使用 uniq -c 来统计出现的次数:

因为示例日志数量太少,我们假设日志里有多条,那么结果应该类似下面:

接下来再 sort 即可:

总结

标签: shell命令su

本文链接地址:https://www.jiuchutong.com/biancheng/379740.html 转载请保留说明!

上一篇:Linux中的特殊符号与正则表达式(linux特殊符号转义)

下一篇:Linux中的Syslog命令(linux的syslog配置)

  • 已认证进项税额转出会计分录账务处理
  • 缴纳印花税的会计凭证
  • 外管证过期了一个月罚款多少
  • 支票上哪里填付款人账号
  • 同一投资主体内部所属企业之间土地,房屋权属的划转
  • 三证合一后银行开户许可证还有吗
  • 承付期满日怎么算
  • 房地产企业收到预收款如何纳税
  • 软件研发购买的测试用的设备应该怎么做账?
  • 企业车辆办理违章
  • 现代服务业要满足什么条件才转一般纳税人
  • 税友每年还要交年费?
  • 公司股东认缴资质末到位导致公司破产应承担什么责任
  • 固定资产出售是否属于日常关联交易
  • 招待客户产生的住宿费
  • macqq截图快捷键 保存
  • 阻止系统蓝屏后怎么恢复
  • 申报个税和缴纳个税一样吗
  • 国家信用信息公司系公示
  • win7系统电脑开机密码忘记了怎么办
  • downloadplus.exe是什么进程 作用是什么 downloadplus进程是安全的吗
  • 如何修复面部毛孔粗大
  • SetPoint.exe - SetPoint是什么进程 有什么用
  • nicconfigsvc.exe - nicconfigsvc是什么进程 有什么用
  • php __callstatic
  • 辞退补偿款怎么算
  • html怎么嵌套php
  • 企业长期资金来源有哪些
  • 无偿占用资金企业有哪些
  • 职工福利费会计科目怎么写
  • ab计数器指令程序
  • 黑色金属冶炼压延品的税收编码是多少
  • 企业所得税按季还是按年
  • 增值税进项发票丢失最新处理办法
  • nerf代码
  • 实际发放股票股利
  • 税款返还 分录
  • 房地产开发公司组织架构
  • 工会经费计提按应付职工薪酬借方还是贷方?
  • 小规模超过30万怎么交增值税
  • db2 insert timestamp
  • mysql常用命令语句
  • 为什么收到要发1
  • 政府扶持资金使用要求
  • 进项税转出金额怎么算
  • 减值准备的定义
  • 开票金额为什么是负数
  • 小商户怎么打发票
  • 投资收益的会计科目
  • 其他应付现金流量表
  • 建筑公司工资如何
  • 固定性制造费用能量差异公式
  • 税务销售滞后是什么意思
  • 个人转到公司账上的钱能开发票吗
  • 企业应收账款的规模受哪些因素的影响?( )
  • 营改增之后账务怎么处理
  • 月末一次结转销售成本分录
  • 未开票收入怎么报税
  • CentOS操作系统
  • 系统备份恢复系统
  • lsass exe
  • windows没网络是怎么回事
  • linux pwdx命令
  • linux tcpping
  • linuxzen
  • iphone服务器
  • win8远程桌面连接设置
  • win10系统故障恢复
  • css中的auto
  • percona mongodb
  • tbc背包插件
  • python yield from 用法
  • unity3d基于物理系统的2D平台跳跃游戏
  • 经常用到的图像格式有
  • 房产契税发票在哪里查询
  • 四川增值税发票查验平台
  • 携程怎么订
  • 多缴税款可以抵滞纳金吗?
  • 我国现行税率分
  • 查询发票号码
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设