位置: 编程技术 - 正文

Python实现的异步代理爬虫及代理池(python 异步操作)

编辑:rootadmin

推荐整理分享Python实现的异步代理爬虫及代理池(python 异步操作),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python异步ping,python 异步操作,python异步ping,python的异步编程,python3异步,python异步执行函数,python3异步,python3异步,内容如对您有帮助,希望把文章链接给更多的朋友!

使用python asyncio实现了一个异步代理池,根据规则爬取代理网站上的免费代理,在验证其有效后存入redis中,定期扩展代理的数量并检验池中代理的有效性,移除失效的代理。同时用aiohttp实现了一个server,其他的程序可以通过访问相应的url来从代理池中获取代理。

源码

Github

环境

Python 3.5+ Redis PhantomJS(可选) Supervisord(可选)

因为代码中大量使用了asyncio的async和await语法,它们是在Python3.5中才提供的,所以最好使用Python3.5及以上的版本,我使用的是Python3.6。

依赖

redis aiohttp bs4 lxml requests selenium

selenium包主要是用来操作PhantomJS的。

下面来对代码进行说明。

1. 爬虫部分

核心代码

上面的核心代码实际上是一个用asyncio.Queue实现的生产-消费者模型,下面是该模型的一个简单实现:

运行上面的代码,一种可能的输出如下:

爬取页面

使用aiohttp实现的网页爬取函数,大部分代理网站都可以使用上面的方法来爬取,对于使用js动态生成页面的网站可以使用selenium控制PhantomJS来爬取——本项目对爬虫的效率要求不高,代理网站的更新频率是有限的,不需要频繁的爬取,完全可以使用PhantomJS。

解析代理

最简单的莫过于用xpath来解析代理了,使用Chrome浏览器的话,直接通过右键就能获得选中的页面元素的xpath:

安装Chrome的扩展“XPath Helper”就可以直接在页面上运行和调试xpath,十分方便:

BeautifulSoup不支持xpath,使用lxml来解析页面,代码如下:

爬虫规则

网站爬取、代理解析、滤等等操作的规则都是由各个代理网站的规则类定义的,使用元类和基类来管理规则类。基类定义如下:

各个参数的含义如下:

start_url(必需)

爬虫的起始页面。

ip_xpath(必需)

爬取IP的xpath规则。

port_xpath(必需)

Python实现的异步代理爬虫及代理池(python 异步操作)

爬取端口号的xpath规则。

page_count

爬取的页面数量。

urls_format

页面地址的格式字符串,通过urls_format.format(start_url, n)来生成第n页的地址,这是比较常见的页面地址格式。

next_page_xpath,next_page_host

由xpath规则来获取下一页的url(常见的是相对路径),结合host得到下一页的地址:next_page_host + url。

use_phantomjs, phantomjs_load_flag

use_phantomjs用于标识爬取该网站是否需要使用PhantomJS,若使用,需定义phantomjs_load_flag(网页上的某个元素,str类型)作为PhantomJS页面加载完毕的标志。

filters

过滤字段集合,可迭代类型。用于过滤代理。

爬取各个过滤字段的xpath规则,与过滤字段按顺序一一对应。

元类CrawlerRuleMeta用于管理规则类的定义,如:如果定义use_phantomjs=True,则必须定义phantomjs_load_flag,否则会抛出异常,不在此赘述。

目前已经实现的规则有西刺代理、快代理、代理、代理和 秘密代理。新增规则类也很简单,通过继承CrawlerRuleBase来定义新的规则类YourRuleClass,放在proxypool/rules目录下,并在该目录下的__init__.py中添加from . import YourRuleClass(这样通过CrawlerRuleBase.__subclasses__()就可以获取全部的规则类了),重启正在运行的proxy pool即可应用新的规则。

2. 检验部分

免费的代理虽然多,但是可用的却不多,所以爬取到代理后需要对其进行检验,有效的代理才能放入代理池中,而代理也是有时效性的,还要定期对池中的代理进行检验,及时移除失效的代理。

这部分就很简单了,使用aiohttp通过代理来访问某个网站,若超时,则说明代理无效。

3. server部分

使用aiohttp实现了一个web server,启动后,访问 访问 访问 '.0.0.1:', '.0.0.1:']"; 访问 content_type='text/html') ,这里body要求的是bytes类型,直接将从redis获取的缓存返回即可,conten_type='text/html'必不可少,否则无法通过浏览器加载主页,而是会将主页下载下来——在运行官方文档中的示例代码的时候也要注意这点,那些示例代码基本上都没有设置content_type。

这部分不复杂,注意上面提到的几点,而关于主页使用的静态资源文件的路径,可以参考之前的博客《aiohttp之添加静态资源路径》。

4. 运行

将整个代理池的功能分成了3个独立的部分:

proxypool

定期检查代理池容量,若低于下限则启动代理爬虫并对代理检验,通过检验的爬虫放入代理池,达到规定的数量则停止爬虫。

proxyvalidator

用于定期检验代理池中的代理,移除失效代理。

proxyserver

启动server。

这3个独立的任务通过3个进程来运行,在Linux下可以使用supervisod来=管理这些进程,下面是supervisord的配置文件示例:

因为项目自身已经配置了日志,所以这里就不需要再用supervisord捕获stdout和stderr了。通过supervisord -c supervisord.conf启动supervisord,proxyPool和proxyServer则会随之自动启动,proxyServer需要手动启动,访问

Python自动生产表情包 作为一个数据分析师,应该信奉一句话——一图胜千言。不过这里要说的并不是数据可视化,而是一款全民向的产品形态——表情包!!!!表情包不

python django事务transaction源码分析详解 pythonDjango事务网上关于django1.6的事务资料很多,但是1.8的却搜不到任何资料,自己要用的时候费了不少劲就是不行,现在记下要用的人少走弯路version:D

Python执行时间的计算方法小结 首先说一下我遇到的坑,生产上遇到的问题,我调度Python脚本执行并监控这个进程,python脚本运行时间远远大于python脚本中自己统计的程序执行时间。

标签: python 异步操作

本文链接地址:https://www.jiuchutong.com/biancheng/378694.html 转载请保留说明!

上一篇:Python 专题一 函数的基础知识(python第六章函数)

下一篇:Python自动生产表情包(python自动生成)

  • 免抵税额计入什么科目
  • 北京增值税发票网上申领流程
  • 职工薪酬纳税调减的情况
  • 商业保理怎么账务处理
  • 小企业会计准则以前年度损益调整
  • 电子发票冲红是怎么回事
  • 金税盘开具电子发票后如何保存电子版
  • 如何在电子税务局开发票
  • 关于合并商誉应该减值还是摊销的辩论
  • 超30日未备案
  • 计提存货跌价准备计算公式
  • 增值税发票是需要先对公转账吗
  • 税局代个人开增值税专票
  • 股东借款可以转为认缴出资
  • 增资有哪些途径
  • 整体购买企业资产涉及哪些税
  • 居民企业非货币性资产投资、转让所得如何缴税?
  • 应收账款无法收回确认为坏账分录
  • 斐讯p.to路由器管理员密码
  • 开启浏览器模式
  • 可转债溢价率多高为好
  • 旅游公司广告费支出扣除标准
  • 税务局查账补交所得税怎样处理
  • php输出一维数组
  • exe都打不开
  • 长期借款的概念
  • 产权登记在开发商名下怎么过户
  • 境外所得税抵免汇率
  • 增值税减免税的征管规定有哪些
  • 常用的几种布局格式
  • 房屋权属变更什么意思
  • 生产企业出口退税申报流程操作
  • 医院会计制度与实务
  • 职工福利费用怎么入账
  • 简单谈谈php中的安全性
  • yii2中dropDownList实现二级和三级联动写法
  • 债务重组收入属于什么科目
  • 小规模纳税人季度不超30万免增值税
  • 35.JavaScript对象和数组的解构赋值基础详解、let陷阱、函数参数解构
  • 预缴2%
  • 付临时工工资需要什么材料
  • 工程物资的税率怎么算
  • 销项和进项税额还需要月底转出么
  • 处置固定资产账务处理进什么科目
  • 工程结算是否算成本
  • SQL2008中通过DBCC OPENTRAN和会话查询事务
  • 弃置费用的摊余成本
  • 融资性售后回租承租方为什么不交税
  • 补缴以前年度所得税及滞纳金账务处理
  • 车费多付了,怎么追回
  • 利息收入应该填什么科目
  • 零申报是不是什么都不用填
  • 长期股权投资出售时其他权益变动
  • 买一送一会计分录怎么写
  • 销售废旧物资如何入账
  • Ubuntu Update-rc.d命令详细介绍
  • 在linux操作系统中,/etc/rc.d/init.d
  • linux中链接
  • win8系统怎么激活
  • windows7桌面小工具下载
  • win2008个性化
  • Win7系统如何打开磁盘管理工具
  • win10一年更新几次
  • vim中执行shell命令
  • linux数据恢复公司 海南
  • win10预览版21301bug
  • jquery左滑切换
  • unity集训
  • jq拖拽div替换位置
  • windows 10一
  • nodejs全栈前景
  • button按钮类型
  • python 数据处理 pdf
  • ubuntu libtorch
  • jquery.multiselect多选下拉框实现代码
  • js使文本框失去焦点的方法
  • Activity的生命周期和页面之间的传递
  • asyncio 的 coroutine对象 与 Future对象使用指南
  • 个人可以到税务开物业费的
  • 贵阳市税务局投诉电话号码
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设