位置: 编程技术 - 正文

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

编辑:rootadmin

推荐整理分享python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python爬虫自学系列,python爬虫入门教程非常详细,python爬虫入门教程非常详细,python爬虫教程,python爬虫教程,python爬虫入门教程,python爬虫入门教程,python爬虫入门教程非常详细,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

urllib、urllib2、urllib3、httplib、httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异,如果业务代码要同时兼容 2 和 3,写起来会让人崩溃。

好在,还有一个非常惊艳的 HTTP 库叫 requests,它是 GitHUb 关注数最多的 Python 项目之一,requests 的作者是 Kenneth Reitz 大神。

requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive、连接池、Cookie持久化、内容自动解压、HTTP代理、SSL认证、连接超时、Session等很多特性,最重要的是它同时兼容 python2 和 python3。requests 的安装可以直接使用 pip 方法:pip install requests

发送请求

响应内容

请求返回的值是一个Response 对象,Response 对象是对 HTTP 协议中服务端返回给浏览器的响应数据的封装,响应的中的主要元素包括:状态码、原因短语、响应首部、响应体等等,这些属性都封装在Response 对象中。

requests 除了支持 GET 请求外,还支持 HTTP 规范中的其它所有方法,包括 POST、PUT、DELTET、HEADT、OPTIONS方法。

查询参数

很多URL都带有很长一串参数,我们称这些参数为URL的查询参数,用"&#;"附加在URL链接后面,多个参数之间用"&"隔开,比如: ,现在你可以用字典来构建查询参数:

请求首部

requests 可以很简单地指定请求首部字段 Headers,比如有时要指定 User-Agent 伪装成浏览器发送请求,以此来蒙骗服务器。直接传递一个字典对象给参数 headers 即可。

请求体

requests 可以非常灵活地构建 POST 请求需要的数据,如果服务器要求发送的数据是表单数据,则可以指定关键字参数 data,如果要求传递 json 格式字符串参数,则可以使用json关键字参数,参数的值都可以字典的形式传过去。

作为表单数据传输给服务器

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

作为 json 格式的字符串格式传输给服务器

响应内容

HTTP返回的响应消息中很重要的一部分内容是响应体,响应体在 requests 中处理非常灵活,与响应体相关的属性有:content、text、json()。

content 是 byte 类型,适合直接将内容保存到文件系统或者传输到网络中

text 是 str 类型,比如一个普通的 HTML 页面,需要对文本进一步分析时,使用 text。

如果使用第三方开放平台或者API接口爬取数据时,返回的内容是json格式的数据时,那么可以直接使用json()方法返回一个经过json.loads()处理后的对象。

代理设置

当爬虫频繁地对服务器进行抓取内容时,很容易被服务器屏蔽掉,因此要想继续顺利的进行爬取数据,使用代理是明智的选择。如果你想爬取墙外的数据,同样设置代理可以解决问题,requests 完美支持代理。这里我用的是本地 ShadowSocks 的代理,(socks协议的代理要这样安装 pip install requests[socks] )

超时设置

requests 发送请求时,默认请求下线程一直阻塞,直到有响应返回才处理后面的逻辑。如果遇到服务器没有响应的情况时,问题就变得很严重了,它将导致整个应用程序一直处于阻塞状态而没法处理其他请求。

正确的方式的是给每个请求显示地指定一个超时时间。

Session

在python爬虫入门教程--快速理解HTTP协议(一)中介绍过HTTP协议是一中无状态的协议,为了维持客户端与服务器之间的通信状态,使用 Cookie 技术使之保持双方的通信状态。

有些网页是需要登录才能进行爬虫操作的,而登录的原理就是浏览器首次通过用户名密码登录之后,服务器给客户端发送一个随机的Cookie,下次浏览器请求其它页面时,就把刚才的 cookie 随着请求一起发送给服务器,这样服务器就知道该用户已经是登录用户。

构建一个session会话之后,客户端第一次发起请求登录账户,服务器自动把cookie信息保存在session对象中,发起第二次请求时requests 自动把session中的cookie信息发送给服务器,使之保持通信状态。

项目实战

最后是一个实战项目,如何用 requests 实现知乎自动登录并给用户发私信,我会在下一篇文章中进行讲解。

总结

好了,

标签: python爬虫教程

本文链接地址:https://www.jiuchutong.com/biancheng/372366.html 转载请保留说明!

上一篇:Python操作使用MySQL数据库的实例代码(python mypy)

下一篇:Python爬虫之模拟知乎登录的方法教程(python模拟登录爬取数据)

  • 月末转出未交增值税时应借记的科目是
  • 企业如何代扣代缴个人所得税20%
  • 发现之前的差旅费补助多报了一天该怎么调整
  • 个体户查账征收需要交什么税
  • 个人劳务费 税
  • 新会计准则固定资产报废账务处理
  • 资产负债表存货为负数原因
  • 一般纳税人公司是什么型企业
  • 贸易公司发票怎么平衡
  • 为在建工程发生的管理费用
  • 个税退税入账
  • 企业发生的间接生产费用应
  • 公司业务往来
  • 冲回年初未年初分配利润分录
  • 开通税种需要带发票吗
  • 冲红发票金额大怎么办
  • 单位缴交的社保和医保还要交其他费用吗
  • 房地产企业预付账款为负数
  • 土地出让金11%抵扣进项税的账务处理?
  • 固定资产摊销怎么做
  • 投资预算的编制方法
  • 小规模纳税人可以开专票吗
  • 出纳人员怎么进入会计
  • 其他应付款调整到其他应收款
  • 补缴公积金账务处理
  • PHP+jQuery翻板抽奖功能实现
  • win 10有什么用
  • SIMETER.EXE - SIMETER是什么进程 有什么用
  • linux format命令
  • ThinkPHP中html:list标签用法分析
  • 收到厂家赠送商品入库
  • Asian elephants in West Bengal, India (© Avijan Saha/Minden Pictures)
  • 转出未交增值税借方余额表示什么
  • 企业清算分配的财产金额怎么算出来
  • 固定资产折旧的方法有几种
  • 劳务公司差额计税的税率
  • php redis操作
  • php图片库
  • 人工智能导论课后题答案
  • 功能强大的php发展趋势
  • blat命令
  • autoreconf -ivf
  • 资产减值损失结转到哪里
  • 融资租赁怎么计税
  • 增值税发票作废后怎么处理
  • 应该是下个月
  • 当月纳税申报期是什么意思
  • 关联企业的费用包括
  • 公司的财产保险业务
  • SQL Server 2008用'sa'登录失败,启用'sa'登录的解决办法
  • sql server 2008数据库没有备份文件恢复
  • 触发器失败是什么意思
  • 跨年度少计提的企业所得税
  • 资产负债表编制
  • 坏账损失属于营业成本吗
  • 收到残保金退税现金流
  • 决算清理期和库款报解整理期
  • 固定资产一次计提折旧
  • 增值税计入固定资产的成本吗
  • 短期借款利息计提分录怎么写
  • 年度的汇算清缴
  • sql语句中单引号怎么打
  • mysql中增删改查语句
  • windows启动失败是怎么回事
  • CentOS7的hostnamectl命令使用详解
  • linux如何学
  • linuxvim编辑器的用法
  • win81激活
  • ubuntu20.04安装配置
  • Custom List in inspector, displaying data your way[Unity]
  • 详解JavaScript ES6中的Generator
  • 计算字符串的长度的函数
  • 3种不同的播种方法
  • javascript简明教程
  • web前端网页设计师
  • 12366纳税服务热线存在的问题
  • 浙江网上税务局登录官网
  • 如何查询甘肃省学业水平考试成绩
  • 盐城买家电到哪里买
  • 北京国家税务局总局官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设