Python实现的异步代理爬虫及代理池(python 异步操作)

编辑：rootadmin

推荐整理分享Python实现的异步代理爬虫及代理池(python 异步操作)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python异步ping,python 异步操作,python异步ping,python的异步编程,python3异步,python异步执行函数,python3异步,python3异步,内容如对您有帮助，希望把文章链接给更多的朋友！

使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从代理池中获取代理。

源码

Github

环境

Python 3.5+ Redis PhantomJS(可选) Supervisord(可选)

因为代码中大量使用了asyncio的async和await语法，它们是在Python3.5中才提供的，所以最好使用Python3.5及以上的版本，我使用的是Python3.6。

依赖

redis aiohttp bs4 lxml requests selenium

selenium包主要是用来操作PhantomJS的。

下面来对代码进行说明。

1. 爬虫部分

核心代码

上面的核心代码实际上是一个用asyncio.Queue实现的生产-消费者模型，下面是该模型的一个简单实现：

运行上面的代码，一种可能的输出如下：

爬取页面

使用aiohttp实现的网页爬取函数，大部分代理网站都可以使用上面的方法来爬取，对于使用js动态生成页面的网站可以使用selenium控制PhantomJS来爬取——本项目对爬虫的效率要求不高，代理网站的更新频率是有限的，不需要频繁的爬取，完全可以使用PhantomJS。

解析代理

最简单的莫过于用xpath来解析代理了，使用Chrome浏览器的话，直接通过右键就能获得选中的页面元素的xpath：

安装Chrome的扩展“XPath Helper”就可以直接在页面上运行和调试xpath，十分方便：

BeautifulSoup不支持xpath，使用lxml来解析页面，代码如下：

爬虫规则

网站爬取、代理解析、滤等等操作的规则都是由各个代理网站的规则类定义的，使用元类和基类来管理规则类。基类定义如下：

各个参数的含义如下：

start_url(必需)

爬虫的起始页面。

ip_xpath(必需)

爬取IP的xpath规则。

port_xpath(必需)

爬取端口号的xpath规则。

page_count

爬取的页面数量。

urls_format

页面地址的格式字符串，通过urls_format.format(start_url, n)来生成第n页的地址，这是比较常见的页面地址格式。

next_page_xpath，next_page_host

由xpath规则来获取下一页的url（常见的是相对路径），结合host得到下一页的地址：next_page_host + url。

use_phantomjs, phantomjs_load_flag

use_phantomjs用于标识爬取该网站是否需要使用PhantomJS，若使用，需定义phantomjs_load_flag（网页上的某个元素，str类型）作为PhantomJS页面加载完毕的标志。

filters

过滤字段集合，可迭代类型。用于过滤代理。

爬取各个过滤字段的xpath规则，与过滤字段按顺序一一对应。

元类CrawlerRuleMeta用于管理规则类的定义，如：如果定义use_phantomjs=True，则必须定义phantomjs_load_flag，否则会抛出异常，不在此赘述。

目前已经实现的规则有西刺代理、快代理、代理、代理和秘密代理。新增规则类也很简单，通过继承CrawlerRuleBase来定义新的规则类YourRuleClass，放在proxypool/rules目录下，并在该目录下的__init__.py中添加from . import YourRuleClass（这样通过CrawlerRuleBase.__subclasses__()就可以获取全部的规则类了），重启正在运行的proxy pool即可应用新的规则。

2. 检验部分

免费的代理虽然多，但是可用的却不多，所以爬取到代理后需要对其进行检验，有效的代理才能放入代理池中，而代理也是有时效性的，还要定期对池中的代理进行检验，及时移除失效的代理。

这部分就很简单了，使用aiohttp通过代理来访问某个网站，若超时，则说明代理无效。

3. server部分

使用aiohttp实现了一个web server，启动后，访问访问访问 '.0.0.1:', '.0.0.1:']"；访问 content_type='text/html') ，这里body要求的是bytes类型，直接将从redis获取的缓存返回即可，conten_type='text/html'必不可少，否则无法通过浏览器加载主页，而是会将主页下载下来——在运行官方文档中的示例代码的时候也要注意这点，那些示例代码基本上都没有设置content_type。

这部分不复杂，注意上面提到的几点，而关于主页使用的静态资源文件的路径，可以参考之前的博客《aiohttp之添加静态资源路径》。

4. 运行

将整个代理池的功能分成了3个独立的部分：

proxypool

定期检查代理池容量，若低于下限则启动代理爬虫并对代理检验，通过检验的爬虫放入代理池，达到规定的数量则停止爬虫。

proxyvalidator

用于定期检验代理池中的代理，移除失效代理。

proxyserver

启动server。

这3个独立的任务通过3个进程来运行，在Linux下可以使用supervisod来=管理这些进程，下面是supervisord的配置文件示例：

因为项目自身已经配置了日志，所以这里就不需要再用supervisord捕获stdout和stderr了。通过supervisord -c supervisord.conf启动supervisord，proxyPool和proxyServer则会随之自动启动，proxyServer需要手动启动，访问

Python自动生产表情包作为一个数据分析师，应该信奉一句话——一图胜千言。不过这里要说的并不是数据可视化，而是一款全民向的产品形态——表情包！！！！表情包不