位置: 编程技术 - 正文

一个PHP实现的轻量级简单爬虫(php单独运行)

编辑:rootadmin

推荐整理分享一个PHP实现的轻量级简单爬虫(php单独运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php做,php底层实现,php做,php有多简单,php单独运行,php如何实现,php如何实现,一个php请求的执行过程,内容如对您有帮助,希望把文章链接给更多的朋友!

最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索。所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构: 爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方 便,支持http下载,而且windows系统和linux系统都可以部署。

正则表达式: 正则表达式是处理文字的基本工具,要取出html中的链接和图片,使用的正则表达式如下。

其他问题: 写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经 处理的url的MD5 值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。

相关协议: 爬虫也有自己的协议,有个robots.txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。

其他说明: php支持类编程,我写的爬虫主要的类. 1.url处理web_site_info,主要用处理url,分析域名等。 2.数据库操作mysql_insert.php,处理和数据库相关的操作。 3.历史记录处理,记录已经处理的url。 4.爬虫类。

一个PHP实现的轻量级简单爬虫(php单独运行)

存在的问题和不足

这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了 提高,但是需要不断得读取数据,可能和php本身的array实现有关系,如果一次加载万条历史记录,速度非常慢。 不支持多线程,每次只能处理一个url。 php运行本身有内存使用量限制,有一次在抓取深度为的页面的时候,内存用尽程序被杀。

下面的url是源码下载。

的用户名口令。最后

就可以开始工作。如

现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经G,正在想办处理这些数据,mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google

smarty内部日期函数html_select_date()用法实例分析 本文实例讲述了smarty内部日期函数html_select_date()的用法。分享给大家供大家参考。具体如下:主要属性:prefix//string类型默认前缀名为"Date_"start_year//strin

一张表搞清楚php is_null、empty、isset的区别 isset判断变量是否已存在empty判断变量是否为空或为0is_null判断变量是否为NULL变量emptyis_nullisset$a=truefalsetrue$a=nulltruetruefalsevar$atruetruefalse$a=array()truefalsetrue

在Debian系统下配置LNMP的教程 LNMP环境的配置是需要让我们的主机支持Nginx、MySQL、PHP、phpMyAdmin,这样配置好之后就可以直接使用此环境,并在上面运行网站了,下面我来配置方法。

标签: php单独运行

本文链接地址:https://www.jiuchutong.com/biancheng/284504.html 转载请保留说明!

上一篇:帝国cms常用标签汇总(帝国cms标签调用大全)

下一篇:一张表搞清楚php is_null、empty、isset的区别(用php做一个表格)

  • 应交税费课程
  • 房产公司企业所得税如何预征
  • 电子承兑汇票贴现流程
  • 月底计提分录
  • 上一年的收入少做账了该怎么调
  • 高铁票抵扣进项税
  • 经营租赁违约金可以直接冲租赁费
  • 企业实际发生的公益性捐赠支出
  • 筹资活动现金流量净额为负
  • 亏损企业对外捐赠的税前扣除
  • 未分配利润转增股本需要缴纳企业所得税吗
  • 旧机动车交易需要哪些法定证件
  • 虚开发票什么意思?
  • 3万免税是指什么
  • 售后需要品控吗
  • 核定征收的合伙企业 取得的投资收益
  • 企业增值税如何退税
  • 删除打印机如何添加
  • 红字增值税专用发票是什么
  • php img
  • 非货币性资产交换和债务重组的区别
  • linux命令行使用鼠标
  • 运输发票符合什么要求
  • 产品工人工资会扣税吗
  • 股权激励的账务处理
  • 为员工购买商业保险的通知
  • 出口增值税怎么计算公式
  • 分批次付款
  • 公司承担责任的方式
  • phpqrcode 实例
  • vue get方法
  • 日本东京秋叶原攻略
  • 亚美尼亚格加尔德修道院
  • 固定资产非正常损失
  • php批量导入数据库
  • 增值税注明的价款是含税还是不含税
  • imu定位
  • 内存分配理解是什么
  • vue面试题2020
  • 前端实战面试题
  • php类型约束用法有哪些
  • 英文描述什么是利润表
  • 应交税金科目应不应该有余额
  • 汽车折旧年限是几年如何计算
  • 房地产企业年报数据
  • 适用税率9%的征税行为有
  • 增值税附表一填写
  • 企业所得税汇算清缴时间
  • 投资收益影响营业额吗
  • 固定资产一次性扣除怎么做账
  • 其他流动资产待摊费用
  • 货代是否负责损失
  • 预收款开票的会计分录
  • 公司缴纳个人所得税有什么用
  • 收到保险公司的发票怎么做账
  • 开发票的时候密码超出密码区发票还能用吗?
  • 劳务成本如何核算
  • sql数据分类
  • 怎么用u盘装驱动
  • win7系统出现reboot and
  • windows server 2008 R2
  • 如何解决脑供血不足
  • 破解ssh端口
  • win8 开机启动
  • win7更新不了80072efe
  • windows注销登录会怎样
  • ubuntu安装chia
  • win7语言栏不见了 各种方法都试过了
  • windows如何禁用程序
  • win7系统无法查看共享电脑
  • win8开机直接进入传统桌面
  • 定制家具加盟品牌
  • perl文件操作
  • 批处理文件修改注册表键值
  • unity热更新方案
  • js 浏览器全屏
  • javascript对象的常用方法
  • 国税报表填报
  • 江西省税务局官网查询系统
  • 个人有关事项核查情况的报告
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设