位置: 编程技术 - 正文

Shell+Curl网站状态检查脚本 抓出无法访问的站点(网页shell命令)

编辑:rootadmin

推荐整理分享Shell+Curl网站状态检查脚本 抓出无法访问的站点(网页shell命令),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell 获取网页内容,shell website,shell website,shell website,shell打开网址,shell打开网页,shell html,shell html,内容如对您有帮助,希望把文章链接给更多的朋友!

一开始搭建中国博客联盟,既有博友提醒我,做网址大全这类网站维护很麻烦,需要大量的精力去Debug一些已夭折的网站,更是拿松哥的博客大全举例。当然,我也是深以为然。前些时间,看到梦轩丽人的boke网址大全的维护记录,好像是纯手工检查,张戈实在是佩服的五体投地,太有毅力了。

现在博客联盟也收录的博客也已破了,全部来自自主提交,不管你是草博还是名博,张戈不会强买强卖。由于大部分都是建站不过半年的新站,半路放弃、提前太监的博客估计还是有的,于是我决定还是把站点维护这个工作做起来。

上午用PHP做了一个放到了京东云试了下,发现检测速度一般,要等上半天(我写的php太蹩脚,就不献丑了)。随后,我在VPS上写了一个多线程的网站状态检测脚本,直接从数据库load站点地址,然后用curl去检测返回码,发现速度非常好,基本1分钟内就能出结果

以下是脚本代码:

Ps:关于shell多线程脚本,后续文章会有一个详细说明,本文篇幅有限,就不多说了。以下是中国博客联盟第一次成员站点存活检测的结果:①、 非返回码的异常站点:

Shell+Curl网站状态检查脚本 抓出无法访问的站点(网页shell命令)

②、脚本抓取的无法访问站点:

人工访问筛选结果:

wangyingxue.net(王英学博客):无法访问,经确认处于备案中 √www.tao.com(长江博客):可以访问 √blog.hack7d.com(Mcdull技术博客):无法访问 ×www..com(教师日记):可以访问 √www.3miaotu.com(三秒兔):无法访问 ×xiaoxiaomayi.com(小小蚂蚁博客):可以访问 √www.awrui.com(李文栋博客):可以访问 √

Ps:脚本检测机制为:8s内未连通的判定为异常,并重试3次,最后输出结果,若三次均异常则为。从图中和人工筛选可以看出,存在一些误杀,这个和8s的设定有一定关系。可以考虑设置为更长时间,得到更准确的结果,当然最终还是要结合人工确认的,所以也没多大关系。

后续,中国博客联盟会制订一个检查周期,最短每星期检查一次,最长一个月检查一次,争取让每个展示的站点都能正常访问。当然,我也会将每次检查的结果公布在中国博客联盟的站长资讯专栏,方便所有成员查看。由于目前中国博客联盟部署在京东云擎,无法远程操控数据库,所以只好暂时用半自动的模式。等以后有时间搬到了阿里云等VPS上后,将会将脚本改成全自动状态,当有网站联系多次检测为失联状态时,将会暂时将其设置为隐藏状态。

Linux用户在第一次登录时强制更改初始密码 下面介绍如何迫使用户在下一次登录时更改其密码。Linux下的每个用户帐户都与和密码相关的各个配置和信息关联起来。比如说,它记得上一次密码更改

Linux之split命令详解 命令功能:切割文件,将文件以行为单位或以字节为单位进行切割命令语法:split[?help][?version]split[-行数][-l行数][要切割的文件][输出文件名],以行数为

Linux执行.sh文件时提示No such file or directory该怎么办(三种解决办法) 先给大家看下问题描述,下图是我在运行时出现错误截图:解决方法分析原因,可能因为我平台迁移碰到权限问题我们来进行权限转换1)在Windows下转换

标签: 网页shell命令

本文链接地址:https://www.jiuchutong.com/biancheng/371383.html 转载请保留说明!

上一篇:linux下python3连接mysql数据库问题(linux怎么调用python)

下一篇:Linux用户在第一次登录时强制更改初始密码(linux用户放在哪个目录)

  • 间接税和直接税哪个容易转嫁
  • 劳务报酬所得计税依据是否含增值税收入
  • 政府补贴的账务属于哪个科目
  • 建筑企业成本核算工作流程
  • 销售返利的会计科目
  • 公司开劳务发票几个点
  • 信用减值损失贷方
  • 企业发生事故后的处理流程
  • 子公司注销应收母公司往来款
  • 台湾企业不能在大陆或香港上市吗
  • 增值税专票劳务费怎么开
  • 跨省工程需要什么条件
  • 参与工会职工应享受哪些福利待遇
  • 计算本月应交增值税转账公式
  • 物业公司预收的物业费一次性申报还是分期申报
  • 下列应税项目中,不按次计算征收个人所得税的是
  • 企业收不回款项计入什么科目?
  • 别人开业送的花怎么说
  • 税控设备维护费怎么填申报表
  • 纳税申报表如何导出
  • 企业必须要现金流入吗
  • 存货和应付账款
  • 电子发票打印出来没有税务局的章
  • 公司活动宣传稿怎么写
  • 预缴增值税被挂账怎么办
  • 贸易公司补交所得税怎么做账?
  • 金税三期得死多少企业
  • 出售固定资产属于收入
  • 合伙企业年度汇缴申报
  • ukey开票界面
  • 出租房子收入计入什么科目
  • 出租商品计入什么科目
  • linux系统之间拷贝文件命令
  • 计提税金会计分录怎么做
  • 浅谈财务风险的防范与控制
  • 为员工购买商业保险的通知
  • 企业的生产环节
  • 增值税纳税申报表附列资料(一)
  • vue从入门到精通教程
  • mediapipe objectron
  • 电脑学word下哪个软件视频
  • 银行承兑汇票记入会计科目
  • 收到房租不开票账务处理
  • cms是前端还是后端
  • mongodb用法
  • 员工出差预借差旅费属于
  • 卖出看跌期权的最大损失
  • 应交增值税进项税额和销项税额区别
  • 以前年度差旅费退回
  • 小规模增值税免税政策变化历程
  • 销售费用怎么用
  • 固定资产备抵科目有哪些
  • 城建税教育费附加和地方教育费附加
  • 捐赠支出税前扣除比例
  • 开外经证预交的税款会退回吗
  • 自产产品用于不动产
  • 租户押金抵房租
  • 奖励员工购物卡怎么写
  • 向投资者分配利润或股利为什么减少所有者权益?
  • 库存商品品种太多如何算成本
  • 开发项目设计费放入什么科目
  • 企业的源头
  • SQLServer2000 报1053错误(服务没有及时响应或控制请求)的解决方法
  • 详谈是什么意思
  • linux dicom
  • Mac怎么设置默认视频播放器
  • Mac显示桌面快捷键
  • windows7cmd命令不能执行
  • cocos2d开发的知名游戏
  • winrar指令
  • 新浪微博模仿推特
  • jquery fadein不起作用
  • javascript怎么用
  • Python的SQLalchemy模块连接与操作MySQL的基础示例
  • 地税申报打印不了发票
  • 四川省税务局税费服务支持中心工作人员编制
  • 现在买车是不是免购置税
  • 陕西省地方税务局公告2016年第1号
  • 江西医保在线缴费
  • 北京朝阳区电话区号是多少?
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设