使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

编辑：rootadmin

推荐整理分享使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:shell中能得到脚本参数,shell脚本查找,shell脚本中获取脚本名称,shell脚本查找,shell脚本找不到命令,shell脚本ne,shell脚本ne,shell脚本怎么看,内容如对您有帮助，希望把文章链接给更多的朋友！

早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。

记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和错误页面。

废话不多说，直接上shell代码：

前面加了一个time是为了看看代码执行所花的时间

%{http_code}意思是返回HTTP状态码，通过这个状态码我们就能知道该链接是正常的链接，还是错误链接；

%{size_download}意思是返回当前页面的大小，如果值太小的话，说明这些页面很有可能是低质量的空页面，得想办法剔除掉。

shell脚本实现批量采集爱站关键词库 shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的

Shell脚本对比两个文本文件找出不同行的2个方法分享亲自实验过的方法如下：第一种：comm命令法命令如下：comm-3file1file2有一个问题就是，如果两个文件排序不一样的话，会出问题第二种：grep命令法命令

Shell日志分析常用命令和例子学会用shell分析日志只要一上午！！！很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，

本文链接地址:https://www.jiuchutong.com/biancheng/379801.html 转载请保留说明！