Shell日志分析常用命令和例子(shell错误日志输出)

编辑：rootadmin

推荐整理分享Shell日志分析常用命令和例子(shell错误日志输出)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:如何将shell脚本中的日志输出,shell实时日志读取,shell打开日志文件,shell打开日志文件,shell 日志,shell 日志输出到屏幕和文件,shell 日志,shell记录日志到文件,内容如对您有帮助，希望把文章链接给更多的朋友！

学会用shell分析日志只要一上午！！！

很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，方便大家快速入门。

1、在Windows下的用户要使用shell命令符的话请先安装cygwin，安装方法自行Google（搜技术问题请使用google，百度搜不到活该）

2、下面粗略介绍下SEO日志分析常用的命令符用法，需要详细了解每个命令符请使用Google。

less 文件名查看文件内容按“q” 退出

cat 文件名打开文件，可以多次打开几个文件 | cat 1.log 2.log |cat *.catgrep -参数文件名-i 不区分大小写-v 显示不符合条件的所有行-c 显示符合条件的所有行数（符合条件的数量）

egrep 属于grep的升级版，在正则这一块的支持更完善，使用正则的时候建议使用egrep

head -2 文件名显示2行head - 文件名 | tail - >>a.log 提取文件第-行数据

wc -参数文件名统计文本大小，字符多少，行数-c 统计文本字节数-m 统计文本字符数-l 统计文本有多少行

sort ? 参数文件名对文件进行排序-n 对文件按照数字排序-r 反向排序

uniq -参数文件名对文件去重，去重前需要使用排序

sort-c 显示数据重复的次数

split -参数文件名对文件进行切割- （每行切割成一个文件）-C m/b/k (每兆/字节/K 分割成一个文件)

| 管道，把上一条命令的结果传输给下一条命令

“>” 和“>> ” 重定向写入文件中 “>”相当于“w”清空并写入 “>>”相当于“a” 追加进文件

awk -F ‘分割符' Pattern ｛action｝文件名使用指定的字符对每一行数据进行分段，默认是空格（网站日志就是空格分开）-F后面跟的是分隔符pattern 就是action执行的条件，这里可以使用正则表达式$n 即时第几段数据 $0表示整行数据NF表示当前记录的字段数$NF 表示最后一个字段BEGIN和END，这两者都可用于pattern中，提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作

bash shell.sh 运行shell.sh脚本

dos2unix xxoo.sh 将“rn”转换成“n” Windows——>linux （由于Windows和Linux下的换行符不同，所以我们在Windows下面下的代码需要使用dos2unix 转换成Linux下的换行符，否则运行shell脚本会报错）

unix2dos xxoo.sh 将“n”转换成“rn” linux——>Windowsrm xx.txt 删除xx.txt文件

3、一些简单的命令符介绍到这里，需要了解shell，建议大家查看相关的书籍.

下面我们开始使用shell分析日志

1、切割百度的抓取数据（将文件切割出来对专门的爬虫数据进行处理能提高效率）2、网站状态码个数查询 3、百度总抓取量 4、百度不重复抓取量 5、百度平均每次抓取的数据大小（结果是KB） 6、首页抓取量7、某目录抓取量 8、抓取最多的个页面 9、找出抓取的错误页面、找出抓取了多少js文件和文件抓取的次数

awk正则表达式和内置函数的使用方法实例详解 awk正则表达式及内置函数实例详解：1、模糊匹配：awk‘{if($3~//)print$0}'data.f：如果第三项中含有则打印该行awk‘{if($4!~/ufcx/)print$0}'data.f：如果第三项

shell脚本实现快速生成xml格式sitemap实例分享用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成条URL的sitemap文件，仅用时4.3秒！shell代码如下：catsitemap.txt|awk'BEGIN{pr

Shell中实现字符串反转方法分享在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把

标签: shell错误日志输出

本文链接地址:https://www.jiuchutong.com/biancheng/379804.html 转载请保留说明！

上一篇：Shell脚本对比两个文本文件找出不同行的2个方法分享(shell脚本对比两个文件夹内的内容)

下一篇：awk正则表达式和内置函数的使用方法实例详解(正则表达式/a/g)