位置: 编程技术 - 正文

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

编辑:rootadmin

推荐整理分享使用shell脚本找出网站的空页面和404错误页面(shell脚本查找),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell中能得到脚本参数,shell脚本查找,shell脚本中获取脚本名称,shell脚本查找,shell脚本找不到命令,shell脚本ne,shell脚本ne,shell脚本怎么看,内容如对您有帮助,希望把文章链接给更多的朋友!

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。

记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和错误页面。

废话不多说,直接上shell代码:

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

前面加了一个time是为了看看代码执行所花的时间

%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的链接,还是错误链接;

%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

shell脚本实现批量采集爱站关键词库 shell批量采集爱站关键词库,心血来潮写着玩的,还不完善,先放出来,后期慢慢更新,功能虽然简单,同类工具也很多现成的,但毕竟是自己写出来的

Shell脚本对比两个文本文件找出不同行的2个方法分享 亲自实验过的方法如下:第一种:comm命令法命令如下:comm-3file1file2有一个问题就是,如果两个文件排序不一样的话,会出问题第二种:grep命令法命令

Shell日志分析常用命令和例子 学会用shell分析日志只要一上午!!!很多地方分享了日志分析的shell脚本,但是基本没说每个命令符的具体含义,学习成本还是很高,在这里总结下,

标签: shell脚本查找

本文链接地址:https://www.jiuchutong.com/biancheng/379801.html 转载请保留说明!

上一篇:Shell实用技巧:快速去除字符串中的空格(shell 1)

下一篇:shell脚本实现批量采集爱站关键词库(shell脚本-p)

  • 新公司税务报到网上操作流程
  • 公司雇佣退休人员怎样扣个税
  • 预扣预缴和汇算清缴
  • 员工出差有补助吗
  • 多缴纳个人所得税怎么办
  • 销售滞后是什么行为
  • 小规模纳税人能开9个点的发票吗
  • 取得的接受捐赠怎么做账
  • 建造期间不可抗力因素入成本么
  • 销售返利计入什么科目
  • 双倍余额递减法折旧公式
  • 房地产增值税发票有什么用
  • 预交了一个季度的社保
  • 分公司开票怎么做账
  • 服务类的企业发票税率
  • 申报状态显示申报失败
  • 提前收取租赁收入的财务处理
  • 不征税的政府补助如何开票
  • 13个点的发票实际交多少钱
  • 税务大厅申报社保需要资料
  • 零申报企业所得税
  • 简易征收工程款可以抵扣吗?
  • 收到退回去年增值税怎么做账
  • 费用报销单应怎样填写
  • 如何查看系统浏览器记录
  • 新版edge浏览器兼容性视图怎么设置
  • windows版本比较
  • linux用途是什么
  • php ioc
  • 失控发票受票方的责任
  • 公司用车出现事故用员工赔付么?
  • win没有投影到此电脑怎么办
  • 营改增全面推开为什么还叫试点
  • 长期待摊费用如何结转
  • 增值税三流合一涉及子公司
  • 国有企业所得税政策
  • php使用什么开发工具
  • 厂区绿化工程计入什么科目
  • php访问数据库的方式
  • 前端框架源码
  • 前端的基础知识
  • 如何使用rank函数排名
  • 母公司为子公司提供担保需要决议吗
  • java泛型方法的使用
  • 工会经费的会计分录2022
  • 认缴倒闭无力实缴强制执行
  • python有什么用
  • centOS下mysql workbench安装配置教程
  • 破产审计需要几年的账
  • 申请个体工商户流程
  • 差额增收企业怎么做账
  • 给员工买保险的好处和坏处
  • 销售退回的会计分录怎么做
  • sql server删除表命令
  • 小企业会计准则没有以前年度损益调整科目
  • 高新技术企业认定中介机构
  • 采购的样品没有发票怎么入账
  • windows优化软件
  • macbook如何恢复出厂
  • 电脑重装windows
  • 安装win8系统需要什么条件
  • centos中用户的基本属性
  • windows更新驱动程序需要多久
  • 怎么设置虚拟硬盘储存路径
  • proflwiz.exe - proflwiz是什么进程 有什么用
  • nfs网络安装
  • windows8使用技巧
  • windows 8虚拟机
  • Win10更新后浏览器不能联网怎么办
  • linux怎么使用
  • perl read
  • jquery 字符串以什么开头
  • Android 水平居中
  • js插件大全
  • unity加密代码
  • js随机生成一个整数
  • android获取手机的基本信息
  • 辽宁省电子税务局电话
  • 欠税多久法院立案
  • 税票电话号码变更影响抵扣吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设