位置: 编程技术 - 正文

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

编辑:rootadmin

推荐整理分享使用shell脚本找出网站的空页面和404错误页面(shell脚本查找),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell中能得到脚本参数,shell脚本查找,shell脚本中获取脚本名称,shell脚本查找,shell脚本找不到命令,shell脚本ne,shell脚本ne,shell脚本怎么看,内容如对您有帮助,希望把文章链接给更多的朋友!

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。

记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和错误页面。

废话不多说,直接上shell代码:

使用shell脚本找出网站的空页面和404错误页面(shell脚本查找)

前面加了一个time是为了看看代码执行所花的时间

%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的链接,还是错误链接;

%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

shell脚本实现批量采集爱站关键词库 shell批量采集爱站关键词库,心血来潮写着玩的,还不完善,先放出来,后期慢慢更新,功能虽然简单,同类工具也很多现成的,但毕竟是自己写出来的

Shell脚本对比两个文本文件找出不同行的2个方法分享 亲自实验过的方法如下:第一种:comm命令法命令如下:comm-3file1file2有一个问题就是,如果两个文件排序不一样的话,会出问题第二种:grep命令法命令

Shell日志分析常用命令和例子 学会用shell分析日志只要一上午!!!很多地方分享了日志分析的shell脚本,但是基本没说每个命令符的具体含义,学习成本还是很高,在这里总结下,

标签: shell脚本查找

本文链接地址:https://www.jiuchutong.com/biancheng/379801.html 转载请保留说明!

上一篇:Shell实用技巧:快速去除字符串中的空格(shell 1)

下一篇:shell脚本实现批量采集爱站关键词库(shell脚本-p)

  • 什么是企业增值税和所得税
  • 实收资本增加如何计算
  • 源泉扣税什么意思
  • 房地产项目公司是什么意思
  • 库存现金冲销
  • 向投资者支付的股息红利等权益性投资收益款项
  • 公司兼职的工资怎么发
  • 私对公转账可以撤回吗
  • 应收账款项目分析思维导图
  • 应缴纳企业所得税税额怎么算
  • 产权转让与股权转让
  • 个人所得税补交税
  • 收回员工社保入什么科目
  • 产品成本的计算公式
  • 上海市购销合同印花税计税金额怎么算?
  • 小规模纳税人附表一怎么填
  • 资产原值包含残值吗
  • 农产品收购抵扣税额可以申请留抵退税
  • 自建厂房领用材料进项税的处理
  • 药品入库和出库必须执行什么制度
  • 计提折旧计算公式是什么
  • 无偿取得股权账务处理
  • 公司出售车辆
  • 文化事业建设费2023年是否减免了
  • 抵扣给供货商预缴税款
  • 公司主要开支是指什么
  • php中mysqli怎么连接数据库
  • 使用与保养
  • lvgl使用
  • thinkphp6开发
  • 零售业的进货帐务怎么做
  • 企业经营状态有哪几种
  • 模型如何优化
  • ssh怎么带密码
  • vue跨域的几种方式
  • 监控设备属于固定资产还是在建工程
  • 无形资产和固定资产减值准备可以转回吗
  • pyqt5 pycharm
  • mysql的union语句
  • sql server评估期已过版本升级时重启失败
  • 社保工伤退回分录
  • 年末未分配利润减去年初未分配利润等于什么
  • 单一窗口出口报关流程
  • 资金托管账户的钱能查到吗
  • 发票有别的字迹有影响吗
  • 用友应收系统凭证冲销后查询不到怎么办
  • 什么叫非限定性不定方程
  • 小规模纳税人能开专票吗2023
  • MySQL中使用命令行查看二进制文件
  • 材料暂估入库时需要考虑增值税进项税吗
  • 购销合同印花税计税依据
  • 应交税费属什么类科目
  • 进口ddp税款如何缴纳
  • 票据行为为什么不能撤销
  • 账户分类的作用是什么
  • 二手车交易增值税发票
  • 设置出纳权限的操作步骤
  • sql server数据库怎么导出
  • virtualboxubuntu安装教程
  • windows系统同时按下CTRL+ALT+DEL键没有弹出任务管理器的解决方法
  • 怎么自己安装windows7
  • mac电脑怎么打开
  • centos 查看文件夹
  • win7桌面图标全部变成了e而且打不开
  • win8 账户头像怎么改
  • win10激活突然失效
  • 安卓获取设备信息
  • git 登陆用户
  • unity3D游戏开发
  • 每次开机windows桌面更新
  • linux shell 循环语句
  • python字符串常用的五种方法
  • jquery上滑下滑
  • JavaScript中void(0)的具体含义解释
  • javascript 对象
  • js混杂模式
  • 地税申报打印不了发票
  • 县税务局可以去市里吗
  • 国家税务局39号公告退税
  • 国际贸易争端的形式
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设