位置: 编程技术 - 正文

深入理解Python分布式爬虫原理(python的理解)

编辑:rootadmin

推荐整理分享深入理解Python分布式爬虫原理(python的理解),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:怎么理解python,深入理解python特性 pdf,python总结与分析,深入理解python特性 pdf,深入理解python特性 pdf,python总结与分析,python的理解,深入理解python特性 pdf,内容如对您有帮助,希望把文章链接给更多的朋友!

首先,我们先来看看,如果是人正常的行为,是如何获取网页内容的。

(1)打开浏览器,输入URL,打开源网页

(2)选取我们想要的内容,包括标题,作者,摘要,正文等信息

(3)存储到硬盘中

上面的三个过程,映射到技术层面上,其实就是:网络请求,抓取结构化数据,数据存储。

我们使用Python写一个简单的程序,实现上面的简单抓取功能。

看着很简单,是的,它就是一个爬虫入门的基础程序。当然,在实现一个采集过程,无非就是上面的几个基础步骤。但是实现一个强大的采集过程,你会遇到下面的问题:

(1)需要带着cookie信息访问,比如大多数的社交化软件,基本上都是需要用户登录之后,才能看到有价值的东西,其实很简单,我们可以使用Python提供的cookielib模块,实现每次访问都带着源网站给的cookie信息去访问,这样只要我们成功模拟了登录,爬虫处于登录状态,那么我们就可以采集到登录用户看到的一切信息了。下面是使用cookie对httpRequest()方法的修改:

(2)编码问题。网站目前最多的两种编码:utf-8,或者gbk,当我们采集回来源网站编码和我们数据库存储的编码不一致时,比如,.com的编码使用的是gbk,而我们需要存储的是utf-8编码的数据,那么我们可以使用Python中提供的encode()和decode()方法进行转换,比如:

深入理解Python分布式爬虫原理(python的理解)

中间出现了unicode编码,我们需要转为中间编码unicode,才能向gbk或者utf-8转换。

(3)网页中标签不完整,比如有些源代码中出现了起始标签,但没有结束标签,HTML标签不完整,就会影响我们抓取结构化数据,我们可以通过Python的BeautifulSoup模块,先对源代码进行清洗,再分析获取内容。

(4)某些网站使用JS来生存网页内容。当我们直接查看源代码的时候,发现是一堆让人头疼的JS代码。可以使用mozilla、webkit等可以解析浏览器的工具包解析js、ajax,虽然速度会稍微慢点。

(5)图片是flash形式存在的。当图片中的内容是文字或者数字组成的字符,那这个就比较好办,我们只要利用ocr技术,就能实现自动识别了,但是如果是flash链接,我们将整个URL存储起来了。

(6)一个网页出现多个网页结构的情况,这样我们如果只是一套抓取规则,那肯定不行,所以需要配置多套模拟进行协助配合抓取。

(7)应对源网站的监控。抓取别人的东西,毕竟是不太好的事情,所以一般网站都会有针对爬虫禁止访问的限制。一个好的采集系统,应该是,不管我们的目标数据在何处,只要是用户能够看到的,我们都能采集回来。所见即所得的无阻拦式采集,无论是否需要登录的数据都能够顺利采集。大部分有价值的信息,一般都需要登录才能看到,比如社交网站,为了应对登录的网站要有模拟用户登录的爬虫系统,才能正常获取数据。不过社会化网站都希望自己形成一个闭环,不愿意把数据放到站外,这种系统也不会像新闻等内容那么开放的让人获取。这些社会化网站大部分会采取一些限制防止机器人爬虫系统爬取数据,一般一个账号爬取不了多久就会被检测出来被禁止访问了。那是不是我们就不能爬取这些网站的数据呢?肯定不是这样的,只要社会化网站不关闭网页访问,正常人能够访问的数据,我们也能访问。说到底就是模拟人的正常行为操作,专业一点叫“反监控”。

源网站一般会有下面几种限制:

1、一定时间内单个IP访问次数,一个正常用户访问网站,除非是随意的点着玩,否则不会在一段持续时间内过快访问一个网站,持续时间也不会太长。这个问题好办,我们可以采用大量不规则代理IP形成一个代理池,随机从代理池中选择代理,模拟访问。代理IP有两种,透明代理和匿名代理。

2、一定时间内单个账号访问次数,如果一个人一天小时都在访问一个数据接口,而且速度非常快,那就有可能是机器人了。我们可以采用大量行为正常的账号,行为正常就是普通人怎么在社交网站上操作,并且单位时间内,访问URL数目尽量减少,可以在每次访问中间间隔一段时间,这个时间间隔可以是一个随机值,即每次访问完一个URL,随机随眠一段时间,再接着访问下一个URL。

如果能把账号和IP的访问策略控制好了,基本就没什么问题了。当然对方网站也会有运维会调整策略,敌我双方的一场较量,爬虫必须要能感知到对方的反监控将会对我们有影响,通知管理员及时处理。其实最理想的是能够通过机器学习,智能的实现反监控对抗,实现不间断地抓取。

下面是本人近期正在设计的一个分布式爬虫架构图,如图1所示:

纯属拙作,初步思路正在实现,正在搭建服务器和客户端之间的通信,主要使用了Python的Socket模块实现服务器端和客户端的通信。如果有兴趣,可以单独和我联系,共同探讨完成更优的方案。

标签: python的理解

本文链接地址:https://www.jiuchutong.com/biancheng/375421.html 转载请保留说明!

上一篇:Python实现希尔排序算法的原理与用法实例分析(希尔排序数据结构的代码)

下一篇:Python 和 JS 有哪些相同之处(python和js哪个好)

  • 税盘是干什么用的
  • 增值税进项税是多少
  • 个人所得税的计提和缴纳分录怎么做
  • 代开普通发票需提供哪些材料
  • 以前年度损益调整账务处理分录
  • 社保是当月计提当月的吗
  • 通过固定资产科目核算
  • 营业执照经营范围劳务怎么写
  • 劳务分包企业所得税25%
  • 资产减值损失为什么不能转回
  • 前年购买的设备怎么入账
  • 应计入企业存货成本有哪些
  • 企业所得税汇算清缴退税分录
  • 处理固定资产需要交企业所得税吗
  • 商品编码选错税务会直接罚款吗?
  • 农产品销售发票是什么?
  • 银行承兑汇票加工费合同
  • 资产负债表日后事项是什么意思?
  • 坏账损失怎么核算
  • 调整以前年度的库存
  • 收入和成本都是真实发生的但是不匹配
  • 收到财产保险赔款会计分录
  • 股票质押期间收益归谁
  • 公司加农户经营模式
  • 支付给个人的小票怎么写
  • 公司有残疾人员怎么办
  • 缴纳印花税怎么算
  • 公司银行贷款能贷多少
  • 苹果电脑隐藏软件功能怎么开启
  • 房产税会计科目应该走税金及附加还是管理费用
  • win11dev预览版可以升级正式版吗
  • 项目优化管理工具
  • 出差没有发票,会计如何入账
  • idea前端快捷键
  • yii框架教程
  • paypal付款会自动换汇吗
  • 餐饮定额发票能报销吗怎么报销
  • 建筑企业结转成本的依据是什么
  • 提示框架
  • vue2和vue3的区别大么
  • ls -all命令
  • 企业所得税应纳税所得额300万以下
  • phpcms文档
  • springmvc的执行流程
  • 当月勾选认证可以在下月抵扣吗
  • 企业重组后的债权怎么算
  • 生产销售库存的会计科目
  • 会计账簿记账规则最新
  • dedecms51
  • mongodb document
  • 支付宝支付高速公路发票怎么打印
  • 利润表的组成是指
  • 建筑安装增值税纳税地点
  • 一般纳税人必须有办公地点吗
  • 租金收入怎样缴纳个税
  • sql查询使用临时表
  • 营业额的纳税比例是多少
  • 去年多摊销了怎么办
  • 扣交社保会计分录
  • 承租人违约押金怎么办
  • 其他应付款可以转主营业务收入吗
  • 漏扣员工年终绩效违法吗
  • 差旅费记入应付职工薪酬吗
  • 样品制作公司
  • 印花税的减免
  • 普票丢失可以以照片入账么
  • 成本费用总额占营业总收入的比率
  • 盈余和利润是不是一个概念
  • mysql中的查询
  • 移动硬盘中安装系统
  • win10重启更新的时候强制关机后会发生啥
  • win8.1怎么样
  • easyui combobox设置值
  • 用批处理删除盘符
  • bootstrap入门
  • 显示随机数
  • Android应用开发实训
  • 广西税务局增值税发票查询平台
  • 什么是委托代征专用账户管理
  • 企业所得税年报职工薪酬纳税调整明细表
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设