位置: 编程技术 - 正文

Linux Shell+Curl网站健康状态检查脚本,抓出中国博客联盟失联站点

编辑:rootadmin

推荐整理分享Linux Shell+Curl网站健康状态检查脚本,抓出中国博客联盟失联站点,希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:,内容如对您有帮助,希望把文章链接给更多的朋友!

一开始搭建中国博客联盟,既有博友提醒我,做网址大全这类网站维护很麻烦,需要大量的精力去Debug一些已夭折的网站,更是拿松哥的博客大全举例。当然,我也是深以为然。前些时间,看到梦轩丽人的boke网址大全的维护记录,好像是纯手工检查,张戈实在是佩服的五体投地,太有毅力了。

现在博客联盟也收录的博客也已破了,全部来自自主提交,不管你是草博还是名博,张戈不会强买强卖。由于大部分都是建站不过半年的新站,半路放弃、提前太监的博客估计还是有的,于是我决定还是把站点维护这个工作做起来。

上午用PHP做了一个放到了京东云试了下,发现检测速度一般,要等上半天(我写的php太蹩脚,就不献丑了)。

随后,我在VPS上写了一个多线程的网站状态检测脚本,直接从数据库load站点地址,然后用curl去检测返回码,发现速度非常好,基本1分钟内就能出结果以下是脚本代码:

Linux Shell+Curl网站健康状态检查脚本,抓出中国博客联盟失联站点

Ps:关于shell多线程脚本,后续文章会有一个详细说明,本文篇幅有限,就不多说了。以下是中国博客联盟第一次成员站点存活检测的结果:①、 非返回码的异常站点:

②、脚本抓取的无法访问站点:

人工访问筛选结果:wangyingxue.net(王英学博客):无法访问,经确认处于备案中 √www.tao.com(长江博客):可以访问 √blog.hack7d.com(Mcdull技术博客):无法访问 ×www..com(教师日记):可以访问 √www.3miaotu.com(三秒兔):无法访问 ×xiaoxiaomayi.com(小小蚂蚁博客):可以访问 √www.awrui.com(李文栋博客):可以访问 √

Ps:脚本检测机制为:8s内未连通的判定为异常,并重试3次,最后输出结果,若三次均异常则为。从图中和人工筛选可以看出,存在一些误杀,这个和8s的设定有一定关系。可以考虑设置为更长时间,得到更准确的结果,当然最终还是要结合人工确认的,所以也没多大关系。后续,中国博客联盟会制订一个检查周期,最短每星期检查一次,最长一个月检查一次,争取让每个展示的站点都能正常访问。当然,我也会将每次检查的结果公布在中国博客联盟的站长资讯专栏,方便所有成员查看。由于目前中国博客联盟部署在京东云擎,无法远程操控数据库,所以只好暂时用半自动的模式。等以后有时间搬到了阿里云等VPS上后,将会将脚本改成全自动状态,当有网站联系多次检测为失联状态时,将会暂时将其设置为隐藏状态。

CCKiller:Linux轻量级CC攻击防御工具,秒级检查、自动拉黑和释放 张戈博客很久以前分享过一个CC攻击的防御脚本,写得不怎么样,不过被CTO意外转载了。博客从此走上了经常被人拿来练手的不归之路。当然,还是有

SED单行脚本快速参考中文版(Unix 流编辑器) 英文标题:USEFULONE-LINESCRIPTSFORSED(Unixstreameditor)原标题:HANDYONE-LINERSFORSED(Unixstreameditor)整理:EricPement-电邮:pemente[at]northpark[dot]edu版本5.5译者:JoeHong-电邮

Shell if中的正则表达式使用详解 由于工作需要对用户提交的数据进行验证,这是一个简单的日期正则验证实例,有需要了解的同学可参考。shell中的if语句需要做一个正则判断,查了一下

标签: Linux Shell+Curl网站健康状态检查脚本,抓出中国博客联盟失联站点

本文链接地址:https://www.jiuchutong.com/biancheng/371425.html 转载请保留说明!

上一篇:分享一个入门级可控多线程shell脚本代码(入门级啥意思)

下一篇:CCKiller:Linux轻量级CC攻击防御工具,秒级检查、自动拉黑和释放

  • 保险税优识别码是保单号吗
  • 个体摊贩
  • 啥叫免抵税额
  • 住宿费进项税分录
  • 个税身份验证不通过
  • 航天金税的服务费如何抵扣
  • 新会计准则开办费分摊
  • 开立基本账户所需资料
  • 接收商业承兑汇票需要到银行办手术吗
  • 公司取现备用金违法吗
  • 普通发票可以改明细吗
  • 汽车修理费需要交印花税吗
  • 什么是应交税费应交增值税科目设置的贷方明细科目
  • 一般纳税人的兼职合法吗
  • 西安职业中等专业学校校长
  • 收到分包公司工程发票收入怎么做账
  • 年初预提费用
  • 个人到税局开具发票流程
  • 一般商贸企业出口白酒要交税吗
  • 房地产土地增值税计税依据
  • 固定资产的折旧从什么时候开始
  • win11怎么看电脑配置
  • 民间非盈利组织会计要素组成
  • 笔记本如何进行截图
  • windows10护眼色设置
  • pgptray.exe - pgptray是什么进程 有什么用
  • 前端实现微信联系人二维码
  • 企业接受捐赠的税务处理
  • vue 实战
  • 相见恨晚求下联
  • 低调低调
  • 座谈会费用报销明细怎么填写
  • python中的thread
  • 增值税专用发票几个点
  • 税法上未投入使用的无形资产摊销所得税能扣除吗
  • 微信支付算库存商品吗
  • 初始化mysql命令
  • 工业企业出租设备租金计入什么科目
  • 单位房屋出租收入应交哪些税
  • 加权平均发计算公式
  • 应付职工薪酬和生产成本的区别
  • 股利分配是什么科目
  • 社保缴费如何做账
  • 增值税发票上注明的价款包含增值税吗
  • 汇兑收益怎么做分录
  • 企业接受捐赠如何确认收入
  • 免抵退账务处理流程
  • 建筑业农民工工资个税合理避税
  • 小规模主营业务成本是否含税
  • 费用报销单如何粘贴票据
  • 年底暂估收入,年初怎么做
  • 赠品没发票
  • 企业对于发出的货物
  • sql like多个
  • sql语句 字符串
  • innodb update 锁
  • linux 切文件
  • 如何屏蔽网络?
  • mac os x 10.12.2 Beta1怎么升级?macOS Sierra 10.12.2 Beta升级图文教程
  • wrapper.exe是什么
  • win8正版系统重装
  • win7语言栏不见了 各种方法都试过了
  • win10 20h2体验
  • centos 7 安装
  • win7插上u盘显示格式化怎么办
  • 如何让win8系统变快
  • linux如何直接访问gpio不用设备树
  • Android游戏开发打砖块
  • nodejs示例
  • 用python编写程序
  • nodejs settimeout异步
  • 设计模式工厂模式使用场景
  • Node.js中的construct构造函数
  • DataTables+BootStrap组合使用Ajax来获取数据并且动态加载dom的方法(排序,过滤,分页等)
  • javascript XMLHttpRequest对象全面剖析
  • Android ORM之GreenDao学习
  • JavaScript中Textarea滚动条不能拖动的解决方法
  • 携程怎么订
  • 代发工资法律依据
  • 山东省梁山县属于什么市?
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设