位置: 编程技术 - 正文

一个PHP实现的轻量级简单爬虫(php单独运行)

编辑:rootadmin

推荐整理分享一个PHP实现的轻量级简单爬虫(php单独运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php做,php底层实现,php做,php有多简单,php单独运行,php如何实现,php如何实现,一个php请求的执行过程,内容如对您有帮助,希望把文章链接给更多的朋友!

最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索。所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构: 爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方 便,支持http下载,而且windows系统和linux系统都可以部署。

正则表达式: 正则表达式是处理文字的基本工具,要取出html中的链接和图片,使用的正则表达式如下。

其他问题: 写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经 处理的url的MD5 值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。

相关协议: 爬虫也有自己的协议,有个robots.txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。

其他说明: php支持类编程,我写的爬虫主要的类. 1.url处理web_site_info,主要用处理url,分析域名等。 2.数据库操作mysql_insert.php,处理和数据库相关的操作。 3.历史记录处理,记录已经处理的url。 4.爬虫类。

一个PHP实现的轻量级简单爬虫(php单独运行)

存在的问题和不足

这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了 提高,但是需要不断得读取数据,可能和php本身的array实现有关系,如果一次加载万条历史记录,速度非常慢。 不支持多线程,每次只能处理一个url。 php运行本身有内存使用量限制,有一次在抓取深度为的页面的时候,内存用尽程序被杀。

下面的url是源码下载。

的用户名口令。最后

就可以开始工作。如

现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经G,正在想办处理这些数据,mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google

smarty内部日期函数html_select_date()用法实例分析 本文实例讲述了smarty内部日期函数html_select_date()的用法。分享给大家供大家参考。具体如下:主要属性:prefix//string类型默认前缀名为"Date_"start_year//strin

一张表搞清楚php is_null、empty、isset的区别 isset判断变量是否已存在empty判断变量是否为空或为0is_null判断变量是否为NULL变量emptyis_nullisset$a=truefalsetrue$a=nulltruetruefalsevar$atruetruefalse$a=array()truefalsetrue

在Debian系统下配置LNMP的教程 LNMP环境的配置是需要让我们的主机支持Nginx、MySQL、PHP、phpMyAdmin,这样配置好之后就可以直接使用此环境,并在上面运行网站了,下面我来配置方法。

标签: php单独运行

本文链接地址:https://www.jiuchutong.com/biancheng/284504.html 转载请保留说明!

上一篇:帝国cms常用标签汇总(帝国cms标签调用大全)

下一篇:一张表搞清楚php is_null、empty、isset的区别(用php做一个表格)

  • 计提税费表格
  • 医院收费单能当凭证用吗
  • 购买车辆交纳的费用
  • 个人打钱对公账户,可以算公司营业收入吗
  • 递延所得税资产计算公式
  • 年金的几种类型
  • 土地违约金怎么写合同
  • 去年漏记了收入,可以记今年吗
  • 支付利息的诉讼请求
  • 计提固定资产的方法有几种?
  • 来料加工企业的会计处理问题
  • 不属于抵扣范围的是什么
  • 工程备用金金额怎么算
  • 是否只有首次购买税控盘可以全额抵减增值税
  • 资产负债表日后事项是什么意思?
  • 太阳能真空管和普通管的区别
  • 成本费用怎么做分录
  • 上月的应付账款怎么记账
  • 小规模纳税人确认收入时要确认税吗
  • 如何处理企业所得税纠纷
  • 装了win8以后不能上网
  • 母公司向子公司发行面值100万元、期限为三年
  • 小微企业所得税怎么算
  • 销售汇总表格模板
  • 买支票需要带什么章
  • flex布局子元素height100
  • 企业发放年终奖政府有哪些规定?
  • 增值税专用发票上注明的价款含税吗
  • 房地产开发企业增值税怎么算
  • 转让旧固定资产怎么做账
  • web自动化测试项目
  • 报错专业怎么补救
  • 自动驾驶车祸
  • 3d人体骨骼模型软件
  • 简单的php文件
  • 收到招标文件怎么回函
  • 广告宣传制作
  • 一般纳税人企业所得税税率2023
  • 每个月工资扣的税为什么不一样
  • 福利部门的福利有哪些
  • okr开源软件
  • mongodb好用吗
  • 经典帝国cms生成器下载
  • 损益类账户期末有余额吗
  • 完税证明可以直接做账吗
  • 暂估成本账务处理
  • 特许权使用费收入按照收到特许权使用费的日期确认收入
  • 货物什么情况下需要分批运输
  • 收到银行承兑汇票怎么处理
  • 供应商折扣一次多少
  • 融资租赁租金会计科目
  • 补交增值税和滞纳金怎么入账
  • 应收账款周转率分析
  • 无票销售纳税后怎么处理
  • 什么是大病医疗救助
  • 会计人员必备的知识和技能
  • 税前税后利润弥补亏损的会计分录
  • mysql中的null值和空
  • xp开机提示explorer
  • MAC OS X 10.8通知中心无法访问、停止更新怎么重启
  • winxp系统优化
  • win8账户锁定无法登录
  • linux文件操作常用命令
  • linux系统开发环境
  • win7右下角无线网络连接图标不见了
  • win8的开始菜单在哪里
  • Metaio SDK 6.0.2自带Example自己实现(三)
  • js判断数组是否相等
  • Android shape画圆
  • 安卓系统滑动设置
  • javascript delete 使用示例代码
  • js实现字符串和数字对齐
  • jquery编写Tab选项卡滚动导航切换特效
  • 养老待遇核定表在哪办理
  • 销售黄金的基本知识
  • 深圳国税电子税务局
  • 江西省发票查询系统
  • 英国税务局缴纳税款方式
  • 福斯特会计软件下载
  • 税收与税收管理的关系
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设