python实现爬虫统计学校BBS男女比例之多线程爬虫（二）(pythone爬虫)

编辑：rootadmin

推荐整理分享python实现爬虫统计学校BBS男女比例之多线程爬虫（二）(pythone爬虫)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:爬虫python怎么用,python爬虫过程,python进行爬虫,python爬虫怎么用,pythone爬虫,python进行爬虫,python进行爬虫,python爬虫系统,内容如对您有帮助，希望把文章链接给更多的朋友！

接着第一篇继续学习。

一、数据分类

正确数据：id、性别、活动时间三者都有

放在这个文件里file1 = 'ruisi\correct%s-%s.txt' % (startNum, endNum)

数据格式为男 -5-1 :

没有时间：有id、有性别，无活动时间

放这个文件里file2 = 'ruisi\errTime%s-%s.txt' % (startNum, endNum)

数据格式为女 notime

用户不存在：该id没有对应的用户

放这个文件里file3 = 'ruisi\notexist%s-%s.txt' % (startNum, endNum)

数据格式为 notexist

未知性别：有id，但是性别从网页上无法得知（经检查，这种情况也没有活动时间）

放这个文件里 file4 = 'ruisi\unkownsex%s-%s.txt' % (startNum, endNum)

数据格式 unkownsex

网络错误：网断了，或者服务器故障，需要对这些id重新检查

放这个文件里 file5 = 'ruisi\httperror%s-%s.txt' % (startNum, endNum)

数据格式 httperror

如何不间断得爬虫信息

本项目有一个考虑：是不间断爬取信息，如果因为断网、BBS服务器故障啥的，我的爬虫程序就退出的话。那我们还得从间断的地方继续爬，或者更麻烦的是从头开始爬。所以，我采取的方法是，如果遇到故障，就把这些异常的id记录下来。等一次遍历之后，才对这些异常的id进行重新爬取性别。本文系列（一）给出了一个 getInfo(myurl, seWord)，通过给定链接和给定正则表达式爬取信息。这个函数可以用来查看性别的最后活动时间信息。我们再定义一个安全的爬取函数，不会间断程序运行的，这儿用到try except异常处理。

这儿代码试了两次getInfo(myurl, seWord),如果第2次还是抛出异常了，就把这个id保存在file5里面如果能获取到信息，就返回信息

依次遍历，获取id从[1,,]的用户信息

python实现爬虫统计学校BBS男女比例之多线程爬虫（二）(pythone爬虫)

我们定义一个函数，这儿的思路是获取sex和time，如果有sex，进而继续判断是否有time；如果没sex，判断是否这个用户不存在还是性别无法爬取。

其中要考虑到断网或者BBS服务器故障的情况。

这儿后期检查发现了一个问题

这个代码如果断网的时候，调用了3次safeGet，每次调用都会往文本里面同一个id写多次httperror

多线程爬取信息？

数据统计可以用多线程，因为是独立的多个文本1、Popen介绍

使用Popen可以自定义标准输入、标准输出和标准错误输出。我在SAP实习的时候，项目组在linux平台下经常使用Popen，可能是因为可以方便重定向输出。

下面这段代码借鉴了以前项目组的实现方法，Popen可以调用系统cmd命令。下面3个communicate()连在一起表示要等这3个线程都结束。

疑惑？试验了一下，必须3个communicate()紧挨着才能保证3个线程同时开启，最后等待3个线程都结束。

2、定义一个单线程的爬虫

用法：python ruisi.py <startNum> <endNum>

这段代码就是爬取[startNum, endNum)信息，输出到相应的文本里。它是一个单线程的程序，若要实现多线程的话，在外部调用它的地方实现多线程。

多线程爬虫

代码

这儿是记录时间戳的日志：

上面是多线程的Log记录，从下面可以看出，个用户平均需要s，一个id需要0.5s。*/ = .小时，大概需要两天的时间。我们再试验一次单线程爬虫的耗时，记录如下:

我们发现一次线程爬取个用户耗时的时间也需要s，而多线程程序是3*个用户耗时s。

故多线程确实能比单线程省很多时间。

Note: 在getInfo(myurl, seWord)里有time.sleep(0.3)这样一段代码，是为了防止批判访问BBS，而被BBS拒绝访问。这个0.3s对于上文多线程和单线程的统计时间有影响。最后附上原始的，没有带时间戳的记录。（加上时间戳，可以知道程序什么时候开始爬虫的，以应对线程卡死情况。）

标签: pythone爬虫

本文链接地址:https://www.jiuchutong.com/biancheng/379967.html 转载请保留说明！

上一篇：python实现爬虫统计学校BBS男女比例（一）(利用python进行爬虫)

下一篇：python实现爬虫统计学校BBS男女比例之数据处理（三）(python爬虫过程)