python实现爬虫统计学校BBS男女比例（一）(利用python进行爬虫)

编辑：rootadmin

推荐整理分享python实现爬虫统计学校BBS男女比例（一）(利用python进行爬虫)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:爬虫python怎么用,python爬虫系统,爬虫python怎么用,python通用爬虫,python进行爬虫,pythone爬虫,python进行爬虫,pythone爬虫,内容如对您有帮助，希望把文章链接给更多的朋友！

一、项目需求

前言：BBS上每个id对应一个用户，他们注册时候会填写性别（男、女、保密三选一）。

经过检查，BBS注册用户的id对应1-，大概是万的用户

笔者想用Python统计BBS上有多少注册用户，以及这些用户的性别分布

顺带可以统计最近活动用户是多少，其中男、女、保密各占多少

活动用户的限定为“上次活动时间”为年

二、最终结果

性别信息保存在文本里，一行表示一个用户的信息，各列分别表示【行数，id（涂掉了），性别，最后活跃时间】

三、实现思路

用户性别信息在哪个页面&#;

得到下面个人主页

把后面的uid=数字改成其他数字，就可以得到其他人的主页。

另外，如果上面的链接无法得到性别，可以再通过这个链接，也是修改uid可以访问其他人主页。

万的用户数据需要重新爬取。

我们我们考虑一个文本里存放条记录，理论上可以用个文本来存放万条数据。

文本名称为correct1-.txt correct-.txt，注意：1-是[1,)，包含1，不包含

1、使用正则匹配找出性别

查看网页源代码

我们可以利用re模块来进行正则匹配

因为中文的原因，需要Unicode 转换中文工具，可以用站长工具 Unicode 转换 ASCII，ASCII 转换 Unicode，比如下面这个链接：性别的Unicode 是 uub 上次活动时间 u4e0au6bu6d3bua8uf6uf4 抱歉，您指定的用户空间不存在 ub1u6buff0cua8uu5b9auuuu7a7auf4u4e0du5bu

这儿是简单获取性别的源代码，通过urllib2对链接myurl发送一个get请求，将得到的html保存下来。注意编码问题unicode(html, 'utf-8')，然后对html正则匹配seWord。

如果该用户有性别信息，返回对应的性别；否则，返回None

五、错误处理

1、断网情况（热修复方案）

总共爬虫需要几天时间，用的校园网，中间可能有断网的可能。如果发现断网，我们可以重新连上互联网，这中间有些用户的性别没有获取到。程序运行时间较长，断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。为了不让程序重头开始跑，所以我们是记录下断网中漏掉的用户id。等一次程序跑完了（这需要几天的时间），我们再跑记录下来的id重新跑一次。

2、无法获取性别

这种有两种情况: 一是真的没有性别（用户没有填写）二是服务器抽了，咱们请求网页失败了。这种咱们也是和上面类似，记录下失败的id，后面再重新跑。

知识点小结

对于这种错误，SyntaxError: Non-ASCII character 'xe5' in file

需要在文件开头加上# -*- coding: UTF-8 -*-

因为 python 的默认编码文件是用的 ANSCII 码

本项目设计到中文字符，自然会遇到编码问题。

输出 ascii 从上面的代码可以看出 sys.defaultencoding 是 ANSCII，ANSCII是无法对中文字符进行编码的。UTF-8是Unicode的实现方式之一，可以对中文字符进行编码。遇到中文字符，我们需要加上这行代码

更改 sys.defaultencoding 为'utf-8'

后期整理的时候发现了自己一个小问题，因为正则表达式当时用unicode来表示的，所以需要把html进行unicode转换进行查找。后来发现可以直接用汉字对原来的html进行查找。

输出

标签: 利用python进行爬虫