位置: 编程技术 - 正文

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

编辑:rootadmin

推荐整理分享使用shell脚本找出网站的空页面和404错误页面(shell脚本查找),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell中能得到脚本参数,shell脚本查找,shell脚本中获取脚本名称,shell脚本查找,shell脚本找不到命令,shell脚本ne,shell脚本ne,shell脚本怎么看,内容如对您有帮助,希望把文章链接给更多的朋友!

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。

记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和错误页面。

废话不多说,直接上shell代码:

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

前面加了一个time是为了看看代码执行所花的时间

%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的链接,还是错误链接;

%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

shell脚本实现批量采集爱站关键词库 shell批量采集爱站关键词库,心血来潮写着玩的,还不完善,先放出来,后期慢慢更新,功能虽然简单,同类工具也很多现成的,但毕竟是自己写出来的

Shell脚本对比两个文本文件找出不同行的2个方法分享 亲自实验过的方法如下:第一种:comm命令法命令如下:comm-3file1file2有一个问题就是,如果两个文件排序不一样的话,会出问题第二种:grep命令法命令

Shell日志分析常用命令和例子 学会用shell分析日志只要一上午!!!很多地方分享了日志分析的shell脚本,但是基本没说每个命令符的具体含义,学习成本还是很高,在这里总结下,

标签: shell脚本查找

本文链接地址:https://www.jiuchutong.com/biancheng/379801.html 转载请保留说明!

上一篇:Shell实用技巧:快速去除字符串中的空格(shell 1)

下一篇:shell脚本实现批量采集爱站关键词库(shell脚本-p)

  • 车船税的免征对象是什么
  • 印花税计提时应入什么科目
  • 农产品的税率是9%吗
  • 事业单位法人证书查询
  • 管理费用期末有余额么
  • 加计抵减申报表填写说明
  • 存货计提减值准备是什么原则
  • 销售收入分成率计算公式
  • 集团内部拨付的研发经费如何核算?
  • 原材料采用实际成本法核算
  • 股东变动及股东情况章节
  • 会计人士必知建筑业主要成本会计分录一览
  • 分公司有法律效力吗
  • 进项发票不够如何避税
  • 员工疗养要扣公休假吗
  • 发票一直显示报送中怎么处理
  • 劳务报酬和个人工资的区别
  • 物流公司怎么进去工作的
  • guest的作用
  • 离职违约金赔偿标准
  • 在国内和国外
  • 其他综合收益和其他收益的区别
  • 如何安装纯净win10
  • 电脑台式机显卡怎么拆
  • 补充医疗税前扣除还是税后扣除
  • hbuilder怎么下载
  • PHP:mcrypt_enc_get_key_size()的用法_Mcrypt函数
  • 包装物逾期是什么意思
  • 罚款在企业所得税前可以扣除吗
  • batset命令
  • 高通 adc
  • 如何写煎荷包蛋过程
  • 事故赔偿金怎么处理
  • vue 图片转base64格式的方法
  • 小企业固定资产折旧方法
  • 物流公司账务处理特点
  • 附加税申报核心内容
  • 企业所得税退税怎么操作流程
  • 股权转让溢价款缴纳增值税
  • 安装sql server 2005,安装不成功怎么设置
  • 应付职工薪酬在利润表哪里体现
  • 企业的预付账款属于金融资产吗
  • 控股合并的账务处理
  • 长期股权投资评估增值调整
  • 什么是年化收益和绝对利率
  • 未开票收入如何结转成本
  • 减值准备减少记哪方
  • 员工工资怎么计提
  • 固定资产清理属于什么科目借方增加还是减少
  • 事业单位的职工可以办营业执照吗
  • 固定资产暂估折旧怎么算
  • 快递公司的会计都需要做什么
  • 企业发生的开办费用计入营业外支出账户
  • 土地拍卖相关法律法规
  • 法人私户转公户备注什么
  • 净利润增长率的影响因素
  • 数据库sql分组
  • 远程连接局域网内的电脑
  • windows安装mysql8.0
  • 微软一般什么时候活动
  • os x10.11el capitan公测版下载地址(公测版计划注册教程)
  • [下载转存] 经验本题库源文件下载转存 秒结
  • win7如何访问xp
  • mac2019强制关机
  • cocos2dx入门
  • js模拟touch
  • nginx与php
  • jquerybind事件
  • python利用range产生列表
  • time模块 python
  • 文化事业建设费是什么税
  • 电子税务局内蒙古自治区
  • 纳税人类型税码是什么
  • 山东税务申报如何网上申报
  • 怎样提高增值税税率
  • 税务金三系统什么意思?
  • 怎么向税局举报
  • 增值税归国家还是地方
  • 医保可以直接到税局买吗?
  • 税务局纳税服务工作总结
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设