位置: 编程技术 - 正文

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

编辑:rootadmin

推荐整理分享使用shell脚本找出网站的空页面和404错误页面(shell脚本查找),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell中能得到脚本参数,shell脚本查找,shell脚本中获取脚本名称,shell脚本查找,shell脚本找不到命令,shell脚本ne,shell脚本ne,shell脚本怎么看,内容如对您有帮助,希望把文章链接给更多的朋友!

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。

记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和错误页面。

废话不多说,直接上shell代码:

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

前面加了一个time是为了看看代码执行所花的时间

%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的链接,还是错误链接;

%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

shell脚本实现批量采集爱站关键词库 shell批量采集爱站关键词库,心血来潮写着玩的,还不完善,先放出来,后期慢慢更新,功能虽然简单,同类工具也很多现成的,但毕竟是自己写出来的

Shell脚本对比两个文本文件找出不同行的2个方法分享 亲自实验过的方法如下:第一种:comm命令法命令如下:comm-3file1file2有一个问题就是,如果两个文件排序不一样的话,会出问题第二种:grep命令法命令

Shell日志分析常用命令和例子 学会用shell分析日志只要一上午!!!很多地方分享了日志分析的shell脚本,但是基本没说每个命令符的具体含义,学习成本还是很高,在这里总结下,

标签: shell脚本查找

本文链接地址:https://www.jiuchutong.com/biancheng/379801.html 转载请保留说明!

上一篇:Shell实用技巧:快速去除字符串中的空格(shell 1)

下一篇:shell脚本实现批量采集爱站关键词库(shell脚本-p)

  • 企业为自然人什么意思
  • 税务零申报是什么意思情况
  • 息税前利润变动率的计算公式
  • 赞助支出和广告支出的区别
  • 小规模企业免税怎么做账
  • 小规模纳税人免税账务处理
  • 控股子公司增资扩股
  • 哪些商业保险可以扣除个人所得税
  • 免税店含增值税吗
  • 购入设备发生的运输费计入什么科目
  • 项目清算组
  • 非生产企业主营业务成本
  • 非生产用设备及器具
  • 结算纪律与法律责任表格
  • 个人所得税核定征收计算公式
  • 季度企业所得税申报表怎么填写
  • 员工的家庭
  • 固定资产折旧方法可以变更吗
  • 调整暂估有差价怎么办
  • 股东以资产入股公司
  • 工伤赔付是那个出钱呢
  • 建帐选择什么会计制度和会计准则之后能修改吗
  • 哪些人需缴纳个人所得税
  • 企业预付保险费怎么做账
  • 如何禁止远程
  • win11可以玩游戏吗
  • php面向对象实例
  • win7为什么没有本地连接
  • 广告费和业务宣传费15%还是30%
  • 应交增值税的处理
  • 工程事故赔偿协议书怎么写
  • PHP:Memcached::getDelayedByKey()的用法_Memcached类
  • g++.exe error
  • pnp.npn
  • windows7旗舰版最新版本
  • cannot read properties null
  • 没有抵扣联可以作废吗
  • 特许权使用费20%
  • yii2前后端分离
  • 分公司?
  • 文本生成图像前景怎么样
  • 帝国cms采集发布的文章链接打不开
  • sqlserver 查询语句
  • Win7 32/64位系统下安装SQL2005和SP3补丁安装教程[图文]
  • c#代码怎么写
  • 小规模租金可以抵税吗
  • 产品的运输费用分录
  • 厂家给经销商的补贴怎么开票
  • 业务招待费专用会计科目
  • 已经抵扣的发票不见了怎么办?
  • 免费给人一些客户资料违法吗
  • 关于投资收益纳税的说法
  • 挂靠企业电费如何处理?
  • 小规模纳税人购进税控设备如何抵扣
  • 一般纳税人哪些项目可以简易征收
  • 备查账包括哪些
  • 车船使用税会计分录怎么写
  • 清产核资评估报告
  • mysql绿色版和安装版有什么区别
  • mysql_error
  • fix it club
  • windows vista界面
  • win8系统设置错误
  • 剑网端游吃电脑配置
  • 常见unix操作系统
  • npfmntor.exe - npfmntor是什么进程 有什么用
  • win10预览版和正式版区别
  • win8.1系统补丁
  • href中的?
  • js兼容ie
  • python教程详细
  • angular scope
  • node解决了什么问题
  • jquery .find()
  • windows and android
  • shell读取文本
  • Zero Clipboard js+swf实现的复制功能使用方法
  • bootstrap需要学多久
  • 江苏电子税务局客服电话
  • 电子税务局申报流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设