位置: 编程技术 - 正文

一个PHP实现的轻量级简单爬虫(php单独运行)

编辑:rootadmin

推荐整理分享一个PHP实现的轻量级简单爬虫(php单独运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php做,php底层实现,php做,php有多简单,php单独运行,php如何实现,php如何实现,一个php请求的执行过程,内容如对您有帮助,希望把文章链接给更多的朋友!

最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索。所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构: 爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方 便,支持http下载,而且windows系统和linux系统都可以部署。

正则表达式: 正则表达式是处理文字的基本工具,要取出html中的链接和图片,使用的正则表达式如下。

其他问题: 写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经 处理的url的MD5 值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。

相关协议: 爬虫也有自己的协议,有个robots.txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。

其他说明: php支持类编程,我写的爬虫主要的类. 1.url处理web_site_info,主要用处理url,分析域名等。 2.数据库操作mysql_insert.php,处理和数据库相关的操作。 3.历史记录处理,记录已经处理的url。 4.爬虫类。

一个PHP实现的轻量级简单爬虫(php单独运行)

存在的问题和不足

这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了 提高,但是需要不断得读取数据,可能和php本身的array实现有关系,如果一次加载万条历史记录,速度非常慢。 不支持多线程,每次只能处理一个url。 php运行本身有内存使用量限制,有一次在抓取深度为的页面的时候,内存用尽程序被杀。

下面的url是源码下载。

的用户名口令。最后

就可以开始工作。如

现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经G,正在想办处理这些数据,mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google

smarty内部日期函数html_select_date()用法实例分析 本文实例讲述了smarty内部日期函数html_select_date()的用法。分享给大家供大家参考。具体如下:主要属性:prefix//string类型默认前缀名为"Date_"start_year//strin

一张表搞清楚php is_null、empty、isset的区别 isset判断变量是否已存在empty判断变量是否为空或为0is_null判断变量是否为NULL变量emptyis_nullisset$a=truefalsetrue$a=nulltruetruefalsevar$atruetruefalse$a=array()truefalsetrue

在Debian系统下配置LNMP的教程 LNMP环境的配置是需要让我们的主机支持Nginx、MySQL、PHP、phpMyAdmin,这样配置好之后就可以直接使用此环境,并在上面运行网站了,下面我来配置方法。

标签: php单独运行

本文链接地址:https://www.jiuchutong.com/biancheng/284504.html 转载请保留说明!

上一篇:帝国cms常用标签汇总(帝国cms标签调用大全)

下一篇:一张表搞清楚php is_null、empty、isset的区别(用php做一个表格)

  • 二手房交易需缴纳哪些费用
  • 资源税和增值税销售额不一致
  • 保险公司车险理赔款如何入账
  • 公司注销还能要回钱吗
  • 开票资料银行必须填写吗
  • 无发票的费用怎样补交所得税
  • 结转成本时是否含税
  • 经营活动现金流量公式
  • 除湿机 哪个好
  • 支付个人无发票怎么入账
  • 结构性存款质押 叫停
  • 跨区域缴纳社保
  • 分期收款销售商品确认收入会计分录
  • 融资租赁出租人和承租人的区别
  • 代订机票款发票可以作为机票报销差旅吗
  • 支付业务招待费的税费是进项还是销项
  • 有代扣个税的是什么人
  • 开具增值税发票销货清单的最新规定是什么
  • 工资薪金总额是指月还是全年
  • 房产交易会涉及哪些费用
  • 商标是按年交费的吗
  • 开普票可以抵扣进项票
  • 事业单位没有税号 选个人可以吗
  • 农产品普通发票抵扣怎么申报
  • 固定资产报废处理流程图
  • 什么叫应付账款科目
  • 如何使用wordpress建站
  • 电脑扩展卷是灰色的的怎么办
  • thinkphp6调用模型的方法
  • iphone6s显示4g却无法上网
  • igfxsrve.exe
  • mac笔记本装了双系统后打开苹果系统和原来一样吗
  • php的数组函数
  • 公司报销之后钱发到哪
  • 鼓励证券投资基金的政策
  • 承担客户车辆维修责任
  • phpweb框架
  • 铡刀演示
  • python答疑
  • css常见的选择器有哪几种
  • gawk命令 模式扫描与处理语言
  • 售后租回交易的第二年利息怎么算
  • 员工出国公司要承担的责任
  • 注册公司冠名省需要多少注册资金
  • 银行开出的承兑怎么兑现
  • <四>2:掌握Const 与一二级指针结合应用
  • 缴纳印花税的会计凭证怎么做
  • 个人所得税隔月交么
  • 数据库双亲结点
  • sql 附加数据库
  • 个人所得税有哪些项目
  • 自然灾害的原因有哪些
  • 事业单位取暖费2023
  • 固定资产不折旧直接进费用
  • 计提固定资产折旧怎么做会计科目
  • 收单清算款计入什么费用
  • 现金存入银行是什么凭证
  • 小规模纳税人公户转私户可以吗
  • 培训费发票是否可以抵扣
  • 企业预算如何编制
  • sql中isnull是什么意思
  • 教你怎么使用加油机
  • windows 远程
  • win10 bios模式
  • centos6.10配置网络
  • linux系统磁盘管理的主要内容
  • 虚拟光驱安装
  • Mac如何开启sip
  • win10收不到20h2更新
  • gnu grub卸载
  • 搭建android开发环境实验原理
  • 搞定immutable.js详细说明
  • php九宫格
  • python利用range产生列表
  • 陕西省税务局机关服务中心
  • 厦门增值税发票查询
  • 消费税增值税的区别与联系
  • 注会证可以挂靠吗?挂靠合法吗?
  • 税务稽查预警指标
  • 从日本带化妆品回国会被扣吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设