位置: 编程技术 - 正文

PHP爬虫之百万级别知乎用户数据爬取与分析(爬虫10054)

编辑:rootadmin

推荐整理分享PHP爬虫之百万级别知乎用户数据爬取与分析(爬虫10054),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:php爬虫数据采集,爬虫10054,php爬虫框架phpspider,php curl爬虫,php爬虫数据采集,php爬数据,php网络爬虫,php 爬虫,内容如对您有帮助,希望把文章链接给更多的朋友!

这次抓取了万的用户数据,数据分析结果如下:

开发前的准备

安装Linux系统(Ubuntu.),在VMWare虚拟机下安装一个Ubuntu; 安装PHP5.6或以上版本; 安装MySQL5.5或以上版本; 安装curl、pcntl扩展。

使用PHP的curl扩展抓取页面数据

PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览器帮你将本地的cookie带上一齐提交到新的页面,所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息,然后在每次curl请求的时候带上cookie信息。在获取cookie信息方面,我是用了自己的cookie,在页面中可以看到自己的cookie信息:

一个个地复制,以”__utma=&#;;__utmb=&#;;”这样的形式组成一个cookie字符串。接下来就可以使用该cookie字符串来发送请求。

初始的示例:

运行上面的代码可以获得mora-hu用户的个人中心页面。利用该结果再使用正则表达式对页面进行处理,就能获取到姓名,性别等所需要抓取的信息。

1、图片防盗链

在对返回结果进行正则处理后输出个人信息的时候,发现在页面中输出用户头像时无法打开。经过查阅资料得知,是因为知乎对图片做了防盗链处理。解决方案就是请求图片的时候在请求头里伪造一个referer。

在使用正则表达式获取到图片的链接之后,再发一次请求,这时候带上图片请求的来源,说明该请求来自知乎网站的转发。具体例子如下:

2、爬取更多用户

抓取了自己的个人信息后,就需要再访问用户的关注者和关注了的用户列表获取更多的用户信息。然后一层一层地访问。可以看到,在个人中心页面里,有两个链接如下:

这里有两个链接,一个是关注了,另一个是关注者,以“关注了”的链接为例。用正则匹配去匹配到相应的链接,得到url之后用curl带上cookie再发一次请求。抓取到用户关注了的用于列表页之后,可以得到下面的页面:

分析页面的html结构,因为只要得到用户的信息,所以只需要框住的这一块的div内容,用户名都在这里面。可以看到,用户关注了的页面的url是:

不同的用户的这个url几乎是一样的,不同的地方就在于用户名那里。用正则匹配拿到用户名列表,一个一个地拼url,然后再逐个发请求(当然,一个一个是比较慢的,下面有解决方案,这个稍后会说到)。进入到新用户的页面之后,再重复上面的步骤,就这样不断循环,直到达到你所要的数据量。

3、Linux统计文件数量

脚本跑了一段时间后,需要看看究竟获取了多少图片,当数据量比较大的时候,打开文件夹查看图片数量就有点慢。脚本是在Linux环境下运行的,因此可以使用Linux的命令来统计文件数量:

其中, ls -l 是长列表输出该目录下的文件信息(这里的文件可以是目录、链接、设备文件等); grep "^-" 过滤长列表输出信息, "^-" 只保留一般文件,如果只保留目录是 "^d" ; wc -l 是统计输出信息的行数。下面是一个运行示例:

PHP爬虫之百万级别知乎用户数据爬取与分析(爬虫10054)

4、插入MySQL时重复数据的处理

程序运行了一段时间后,发现有很多用户的数据是重复的,因此需要在插入重复用户数据的时候做处理。处理方案如下:

1)插入数据库之前检查数据是否已经存在数据库;

2)添加唯一索引,插入时使用 INSERT INTO ... ON DUPLICATE KEY UPDATE...

3)添加唯一索引,插入时使用 INSERT INGNORE INTO...

4)添加唯一索引,插入时使用 REPLACE INTO...

第一种方案是最简单但也是效率最差的方案,因此不采取。二和四方案的执行结果是一样的,不同的是,在遇到相同的数据时, INSERT INTO … ON DUPLICATE KEY UPDATE 是直接更新的,而 REPLACE INTO 是先删除旧的数据然后插入新的,在这个过程中,还需要重新维护索引,所以速度慢。所以在二和四两者间选择了第二种方案。而第三种方案, INSERT INGNORE 会忽略执行INSERT语句出现的错误,不会忽略语法问题,但是忽略主键存在的情况。这样一来,使用 INSERT INGNORE 就更好了。最终,考虑到要在数据库中记录重复数据的条数,因此在程序中采用了第二种方案。

5、使用curl_multi实现多线程抓取页面

刚开始单进程而且单个curl去抓取数据,速度很慢,挂机爬了一个晚上只能抓到2W的数据,于是便想到能不能在进入新的用户页面发curl请求的时候一次性请求多个用户,后来发现了curl_multi这个好东西。curl_multi这类函数可以实现同时请求多个url,而不是一个个请求,这类似于linux系统中一个进程开多条线程执行的功能。下面是使用curl_multi实现多线程爬虫的示例:

6、HTTP Too Many Requests

使用curl_multi函数可以同时发多个请求,但是在执行过程中使同时发个请求的时候,发现很多请求无法返回了,即发现了丢包的情况。进一步分析,使用 curl_getinfo 函数打印每个请求句柄信息,该函数返回一个包含HTTP response信息的关联数组,其中有一个字段是http_code,表示请求返回的HTTP状态码。看到有很多个请求的http_code都是,这个返回码的意思是发送太多请求了。我猜是知乎做了防爬虫的防护,于是我就拿其他的网站来做测试,发现一次性发个请求时没问题的,证明了我的猜测,知乎在这方面做了防护,即一次性的请求数量是有限制的。于是我不断地减少请求数量,发现在5的时候就没有丢包情况了。说明在这个程序里一次性最多只能发5个请求,虽然不多,但这也是一次小提升了。

7、使用Redis保存已经访问过的用户

抓取用户的过程中,发现有些用户是已经访问过的,而且他的关注者和关注了的用户都已经获取过了,虽然在数据库的层面做了重复数据的处理,但是程序还是会使用curl发请求,这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行,刚开始是放到数组里面,后来发现要在程序里添加多进程,在多进程编程里,子进程会共享程序代码、函数库,但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变量是分离的,不能被其他进程读取,所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候都把用户push到一个already_request_queue队列中,把待抓取的用户(即每个用户的关注者和关注了的用户列表)push到request_queue里面,然后每次执行前都从request_queue里pop一个用户,然后判断是否在already_request_queue里面,如果在,则进行下一个,否则就继续执行。

在PHP中使用redis示例:

8、使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后,程序运行了一个晚上,最终得到的数据有W。还不能达到自己的理想目标,于是便继续优化,后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例:

9、在Linux下查看系统的cpu信息

实现了多进程编程之后,就想着多开几条进程不断地抓取用户的数据,后来开了8调进程跑了一个晚上后发现只能拿到W的数据,没有多大的提升。于是查阅资料发现,根据系统优化的CPU性能调优,程序的最大进程数不能随便给的,要根据CPU的核数和来给,最大进程数最好是cpu核数的2倍。因此需要查看cpu的信息来看看cpu的核数。在Linux下查看cpu的信息的命令:

结果如下:

其中,model name表示cpu类型信息,cpu cores表示cpu核数。这里的核数是1,因为是在虚拟机下运行,分配到的cpu核数比较少,因此只能开2条进程。最终的结果是,用了一个周末就抓取了万的用户数据。

、多进程编程中Redis和MySQL连接问题

在多进程条件下,程序运行了一段时间后,发现数据不能插入到数据库,会报mysql too many connections的错误,redis也是如此。

下面这段代码会执行失败:

根本原因是在各个子进程创建时,就已经继承了父进程一份完全一样的拷贝。对象可以拷贝,但是已创建的连接不能被拷贝成多个,由此产生的结果,就是各个进程都使用同一个redis连接,各干各的事,最终产生莫名其妙的冲突。

解决方法: >程序不能完全保证在fork进程之前,父进程不会创建redis连接实例。因此,要解决这个问题只能靠子进程本身了。试想一下,如果在子进程中获取的实例只与当前进程相关,那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式,与当前进程ID绑定起来。

改造后的代码如下:

、PHP统计脚本执行时间

因为想知道每个进程花费的时间是多少,因此写个函数统计脚本执行时间:

标签: 爬虫10054

本文链接地址:https://www.jiuchutong.com/biancheng/288206.html 转载请保留说明!

上一篇:php+html5实现无刷新图片上传教程(html无刷新跳转)

下一篇:详解PHP对象的串行化与反串行化(php对象是什么类型的数据)

  • 进项税额转出补交税款
  • 房产税税源信息采集错误已到申报期怎么办
  • 环保税的纳税义务人是施工方还是建设方安徽
  • 融资利息进项税如何抵扣
  • 本年利润需要毎月转入未分配利润吗
  • 固定资产计提减值后可以转回吗
  • 小规模开普票多少税点
  • 税控服务费减免政策
  • 固定资产残值账务处理
  • 应收账款余额百分比法是什么意思
  • 小规模纳税人免征增值税政策
  • 自己生产的产品用于职工福利
  • 国税申报填错了怎么办
  • 增值税(滞纳金)
  • 对方发票丢失开什么证明
  • 债务重组会计处理中,债务人确认的债务重组利得
  • 购入增值税税控系统专用设备为什么全额计入固定资产
  • 汇算清缴已退税的还可以作废吗
  • 公司利润如何提高
  • 收到投资款现金流量项目是什么
  • 增值税减少对企业的利弊
  • macos catalina安装很慢
  • win10应用商店变成英文怎么改成中文
  • 玩游戏网络延时高怎么处理
  • 企业缴纳社保包含哪些内容
  • 销售折扣单独开票
  • 免征的增值税怎么做账
  • 支付宝账户记录
  • 进项发票大过销项,退税只退13个点的增值税吗
  • 接受捐赠收入要计入销售收入吗
  • php创建二维数组
  • 异地预缴税款后当地还交吗
  • 初识年岁尚温柔 小说 免费
  • php readfile
  • 营改增后,个人转让房屋的个人所得税
  • 公司比赛奖金计入什么科目
  • 准予在企业所得税税前扣除的有
  • uni-app实例教程
  • 固定资产以前年度未入账怎么处理
  • pytorch基础教程
  • 农产品小规模纳税人
  • 命令grep
  • php环境怎么搭
  • c语言中数组的定义和使用
  • 企业收到财政补贴如何开票
  • 月末损益结转手工结转步骤
  • pycharm cant find main
  • 不动产进项税额抵扣新政策2021
  • 视同销售如何做账务处理?
  • 未开票收入申报有税务风险吗
  • 企业购买了数千亿资产
  • 已开普通发票记账联丢失怎么办?
  • 代垫个税费怎么做账
  • 现金存银行凭证
  • 员工替公司垫付工资违法吗
  • 结算本月应付职工工资,其中生产工人工资8000元
  • 什么是固定资产的后续支出
  • 哪些资产减值可以转回哪些不可转回
  • 企业预提费用是什么科目
  • windows软件授权服务报告无法激活计算机
  • Win10 Mobile 10572怎么更新升级? 需回滚到WP 8.1
  • ubuntu系统中怎么安装mathematica13.1.0
  • mac字体发虚解决办法
  • PSNGive.exe - PSNGive进程有什么用 是什么意思
  • ngctw32.exe - ngctw32是什么进程 有什么用
  • 原生封装ajax
  • JavaScript的instanceof运算符学习教程
  • el-select tree
  • 新闻客户端app
  • ubuntu 20.4安装
  • opengl发光物体
  • android主流分辨率
  • python多线程例子
  • c# unity ioc
  • jquery上传文件到服务器
  • android反编译smali
  • 电子发票如何盖电子章
  • 企业吸收合并都包括什么
  • 分国分项抵免法
  • 今年烟草税多少钱
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设