位置: 编程技术 - 正文

Python抓取框架 Scrapy的架构(python抓取整站链接)

编辑:rootadmin

推荐整理分享Python抓取框架 Scrapy的架构(python抓取整站链接),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python抓包库,python抓包库,python抓包库,python抓取软件界面数据,python frame框架抓取,python frame框架抓取,python 采集框架,python抓取软件界面数据,内容如对您有帮助,希望把文章链接给更多的朋友!

最近在学Python,同时也在学如何使用python抓取数据,于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy,下面一起学习下Scrapy的架构,便于更好的使用这个工具。

一、概述

下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示)。下面就来一个个解释每个组件的作用及数据的处理过程。

二、组件

1、Scrapy Engine(Scrapy引擎)

Scrapy引擎是用来控制整个系统的数据处理流程,并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

2、Scheduler(调度)

调度程序从Scrapy引擎接受请求并排序列入队列,并在Scrapy引擎发出请求后返还给他们。

3、Downloader(下载器)

下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。

4、Spiders(蜘蛛)

蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回的内容的类,每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。

Python抓取框架 Scrapy的架构(python抓取整站链接)

蜘蛛的整个抓取流程(周期)是这样的:

1).首先获取第一个URL的初始请求,当请求返回后调取一个回调函数。第一个请求是通过调用start_requests()方法。该方法默认从start_urls中的Url中生成请求,并执行解析来调用回调函数。2).在回调函数中,你可以解析网页响应并返回项目对象和请求对象或两者的迭代。这些请求也将包含一个回调,然后被Scrapy下载,然后有指定的回调处理。3).在回调函数中,你解析网站的内容,同程使用的是Xpath选择器(但是你也可以使用BeautifuSoup, lxml或其他任何你喜欢的程序),并生成解析的数据项。4).最后,从蜘蛛返回的项目通常会进驻到项目管道。

5、Item Pipeline(项目管道)

项目管道的主要责任是负责处理有蜘蛛从网页中抽取的项目,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据。每个项目管道的组件都是有一个简单的方法组成的Python类。他们获取了项目并执行他们的方法,同时他们还需要确定的是是否需要在项目管道中继续执行下一步或是直接丢弃掉不处理。

项目管道通常执行的过程有:

1).清洗HTML数据2).验证解析到的数据(检查项目是否包含必要的字段)3).检查是否是重复数据(如果重复就删除)4).将解析到的数据存储到数据库中

6、Downloader middlewares(下载器中间件)

下载中间件是位于Scrapy引擎和下载器之间的钩子框架,主要是处理Scrapy引擎与下载器之间的请求及响应。它提供了一个自定义的代码的方式来拓展Scrapy的功能。下载中间器是一个处理请求和响应的钩子框架。他是轻量级的,对Scrapy尽享全局控制的底层的系统。

7、Spider middlewares(蜘蛛中间件)

蜘蛛中间件是介于Scrapy引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛的响应输入和请求输出。它提供一个自定义代码的方式来拓展Scrapy的功能。蛛中间件是一个挂接到Scrapy的蜘蛛处理机制的框架,你可以插入自定义的代码来处理发送给蜘蛛的请求和返回蜘蛛获取的响应内容和项目。

8、Scheduler middlewares(调度中间件)

调度中间件是介于Scrapy引擎和调度之间的中间件,主要工作是处从Scrapy引擎发送到调度的请求和响应。他提供了一个自定义的代码来拓展Scrapy的功能。

三、数据处理流程

Scrapy的整个数据处理流程有Scrapy引擎进行控制,其主要的运行方式为:

引擎打开一个域名,时蜘蛛处理这个域名,并让蜘蛛获取第一个爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL,然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎,引擎将他们通过下载中间件发送到下载器。当网页被下载器下载完成以后,响应内容通过下载中间件被发送到引擎。引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。蜘蛛处理响应并返回爬取到的项目,然后给引擎发送新的请求。引擎将抓取到的项目项目管道,并向调度发送请求。系统重复第二部后面的操作,直到调度中没有请求,然后断开引擎与域之间的联系。

四、驱动器

Scrapy是由Twisted写的一个受欢迎的Python事件驱动网络框架,它使用的是非堵塞的异步处理。

标签: python抓取整站链接

本文链接地址:https://www.jiuchutong.com/biancheng/386262.html 转载请保留说明!

上一篇:判断网页编码的方法python版(怎么看网页的编码格式)

下一篇:详解Python如何获取列表(List)的中位数(python 获取uuid)

  • 进项税转出的会计凭证
  • 出口退税的条件有哪些
  • 交强险必须交车船使用税吗?交多少钱?
  • 个人服务费发票几个点
  • 跨年度进项税额转出怎么申报
  • 固定资产盘盈影响所有者权益吗
  • 收到失业保险稳岗补贴会计分录
  • 营改增后企业所得税分成比例
  • 销货方跨月开红字发票流程
  • 个体开票
  • 贸易公司发票怎么平衡
  • 给员工交的重大医疗保险怎么做分录?
  • 销售公司车辆如何填报销项税
  • 总资产现金回收率是什么与什么平均余额的比
  • 促销服务费能抵增值税吗
  • 2021年7月1日执行
  • 企业恢复生产经营方案
  • 资产损失申报方式
  • 文化事业建设税征税范围
  • 异地工程需要预交税吗
  • 个税贷方余额比实际金额多
  • 预付卡销售发票可以报销吗?
  • 主营业务成本会计科目使用说明
  • 低值易耗品属于资产类
  • 劳务费属于会计什么科目
  • 代扣代缴境外增值税可以抵扣
  • 土地使用税计税依据及计算方式
  • 公允价值变动损益怎么算出来的
  • 新成立企业什么时候有财务报表
  • deepin如何
  • 贷款利息 发票
  • 公司账户转账到出纳个人账户
  • 网赚项目——Youtube获取高流量的技巧
  • Escarpment Trail in Porcupine Mountains Wilderness State Park, Michigan (© Pat & Chuck Blackley/Alamy)
  • 企业取得的搬迁补贴
  • php 邮件发送
  • php和mysql关系
  • 金税盘锁死状态
  • 2023年网络安全专题教育
  • 工程施工预缴增值税
  • 机械设备大修标准
  • java委托模式和代理模式
  • 劳务外经证预缴税款
  • 开业请别人吃饭怎么说
  • 营业外收入 销项税
  • 收到红字发票如何入账
  • 预收货款开票怎么做账
  • 债券发行时发生的承销费、法律费
  • Centos安装ntfs-3g
  • 发放职工工资是什么支出
  • 公司的零星开支怎么做账
  • 高校报销开普票还是专票
  • 个体户是怎么交公积金的
  • 主营业务成本包括工资吗
  • 建筑设计行业收费标准
  • 贸易公司如何核名
  • 余利宝和余额宝哪一个安全
  • 预付账款为什么属于资产类
  • 回购股票并注销是利好吗
  • 增值税发票税控开票软件用户密码
  • 公司购买汽车的购置税可以抵税吗
  • 预缴土地增值税的会计处理
  • 咨询费计入什么明细科目
  • mac osx 10.8
  • linux oracle图形界面
  • linux默认文件大小
  • Linux怎么在家目录创建目录
  • win7装win8系统教程
  • win7清洗打印机喷头步骤
  • 万能win8pe工具箱怎么用
  • javascript的核心
  • 一个简单的灵魂福楼拜
  • unity3d从入门到精通
  • OpenGL ES Emulator比较
  • 批处理执行bat文件
  • 用python画一棵树
  • 数字图像处理软件idl和matlab有什么异同点
  • 留抵退税再提速
  • 海关快递怎么上门寄件
  • 发票是去国税还是地税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设