位置: 编程技术 - 正文

一个PHP实现的轻量级简单爬虫(php单独运行)

编辑:rootadmin

推荐整理分享一个PHP实现的轻量级简单爬虫(php单独运行),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php做,php底层实现,php做,php有多简单,php单独运行,php如何实现,php如何实现,一个php请求的执行过程,内容如对您有帮助,希望把文章链接给更多的朋友!

最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索。所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构: 爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方 便,支持http下载,而且windows系统和linux系统都可以部署。

正则表达式: 正则表达式是处理文字的基本工具,要取出html中的链接和图片,使用的正则表达式如下。

其他问题: 写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经 处理的url的MD5 值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。

相关协议: 爬虫也有自己的协议,有个robots.txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。

其他说明: php支持类编程,我写的爬虫主要的类. 1.url处理web_site_info,主要用处理url,分析域名等。 2.数据库操作mysql_insert.php,处理和数据库相关的操作。 3.历史记录处理,记录已经处理的url。 4.爬虫类。

一个PHP实现的轻量级简单爬虫(php单独运行)

存在的问题和不足

这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了 提高,但是需要不断得读取数据,可能和php本身的array实现有关系,如果一次加载万条历史记录,速度非常慢。 不支持多线程,每次只能处理一个url。 php运行本身有内存使用量限制,有一次在抓取深度为的页面的时候,内存用尽程序被杀。

下面的url是源码下载。

的用户名口令。最后

就可以开始工作。如

现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经G,正在想办处理这些数据,mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google

smarty内部日期函数html_select_date()用法实例分析 本文实例讲述了smarty内部日期函数html_select_date()的用法。分享给大家供大家参考。具体如下:主要属性:prefix//string类型默认前缀名为"Date_"start_year//strin

一张表搞清楚php is_null、empty、isset的区别 isset判断变量是否已存在empty判断变量是否为空或为0is_null判断变量是否为NULL变量emptyis_nullisset$a=truefalsetrue$a=nulltruetruefalsevar$atruetruefalse$a=array()truefalsetrue

在Debian系统下配置LNMP的教程 LNMP环境的配置是需要让我们的主机支持Nginx、MySQL、PHP、phpMyAdmin,这样配置好之后就可以直接使用此环境,并在上面运行网站了,下面我来配置方法。

标签: php单独运行

本文链接地址:https://www.jiuchutong.com/biancheng/284504.html 转载请保留说明!

上一篇:帝国cms常用标签汇总(帝国cms标签调用大全)

下一篇:一张表搞清楚php is_null、empty、isset的区别(用php做一个表格)

  • 小规模纳税人月销售额超过15万
  • 人民大学税务专硕学费
  • 技术服务费怎么算成本
  • 报税利润表的第二季度本期金额本年累计金额是什么
  • 调整企业银行存款账面余额的记账依据是什么
  • 取得租金收入的会计分录
  • 土地出让交增值税多少
  • 无形资产报废的例题
  • 计提增值税小于10万元
  • 进项税额转出转多了
  • 出口企业如何做锁汇
  • 金税三期个人所得税税率
  • 今年补缴去年的税汇算清缴吗
  • 老板向公司借款用于公司经营
  • 一般纳税人6个点和13点
  • 开票商品税收分录怎么写
  • 建材公司将自产产品卖出
  • 刷银行卡消费安全吗
  • 0申报逾期罚款
  • 公司注销了帐户钱能办款
  • 工程质保金扣除
  • 坏账损失如何连续计提
  • 奖金能否和工资一起发放
  • 人工工资应该计什么科目
  • 合同签订中,可以撤销吗
  • 红冲无票收入怎么报税
  • 土地租赁摊销年限按合同年限
  • 资产负债表日后至财务报告批准报出日之间
  • 固定资产的认定类别
  • Win10 Build 21354 太阳谷ISO镜像版体验报告 含下载地址
  • mid文件和midi文件
  • 图书装订的工作容易吗
  • PHP:spl_autoload_call()的用法_spl函数
  • 债务重组 收益
  • 在php中,字符串有哪些表示形式
  • win7纯净版本
  • 税务机关为小规模纳税人
  • 增值税专用发票怎么开
  • 税前弥补以前年度亏损分录
  • 史密斯理工学院
  • 2018年残保金申报表填表说明
  • HTTP 错误 500.19- Internal Server Error 错误解决方法
  • 收到电子退库如何入账
  • thinkphp excel
  • phpxdebug
  • spring integration使用:消息转换器
  • 公司购买承兑
  • 税务局批扣是什么意思
  • 空白发票作废怎么剪角
  • 销售产品收到现金的会计分录
  • 当月确认收入可以下月确认成本吗
  • 新公司不开户需要交税吗
  • 增值税发票的规范
  • 控股子公司破产清算 母公司账务处理
  • 企业购房如何入账
  • 对外投资损失可以抵税吗
  • 可转债溢价率怎么查
  • 可供出售金融资产公允价值变动
  • 法定盈余公积和任意盈余公积可用于
  • 自建生产线的入账价值
  • 购销供应商
  • 收到厂家返利账务处理
  • 弥补亏损的会计处理
  • centos6开机启动服务
  • fedora使用
  • winxp回收站在哪里
  • windows xp.exe
  • xp开始界面
  • 怎么使用mac打电话
  • 电脑上dell是什么意思
  • win8粘贴板
  • win7网络问题
  • 新装win8系统卡顿严重,虚拟内存为0
  • Win10无法获取ipv4
  • android studio string函数
  • js数字跳动增加效果
  • python lxml解析xml
  • angularjs1.5
  • python连接mysql实例分享
  • 企业自建自用房产税如何缴纳
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设