位置: 编程技术 - 正文

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

编辑:rootadmin

推荐整理分享python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python爬虫自学系列,python爬虫入门教程非常详细,python爬虫入门教程非常详细,python爬虫教程,python爬虫教程,python爬虫入门教程,python爬虫入门教程,python爬虫入门教程非常详细,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

urllib、urllib2、urllib3、httplib、httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异,如果业务代码要同时兼容 2 和 3,写起来会让人崩溃。

好在,还有一个非常惊艳的 HTTP 库叫 requests,它是 GitHUb 关注数最多的 Python 项目之一,requests 的作者是 Kenneth Reitz 大神。

requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive、连接池、Cookie持久化、内容自动解压、HTTP代理、SSL认证、连接超时、Session等很多特性,最重要的是它同时兼容 python2 和 python3。requests 的安装可以直接使用 pip 方法:pip install requests

发送请求

响应内容

请求返回的值是一个Response 对象,Response 对象是对 HTTP 协议中服务端返回给浏览器的响应数据的封装,响应的中的主要元素包括:状态码、原因短语、响应首部、响应体等等,这些属性都封装在Response 对象中。

requests 除了支持 GET 请求外,还支持 HTTP 规范中的其它所有方法,包括 POST、PUT、DELTET、HEADT、OPTIONS方法。

查询参数

很多URL都带有很长一串参数,我们称这些参数为URL的查询参数,用"&#;"附加在URL链接后面,多个参数之间用"&"隔开,比如: ,现在你可以用字典来构建查询参数:

请求首部

requests 可以很简单地指定请求首部字段 Headers,比如有时要指定 User-Agent 伪装成浏览器发送请求,以此来蒙骗服务器。直接传递一个字典对象给参数 headers 即可。

请求体

requests 可以非常灵活地构建 POST 请求需要的数据,如果服务器要求发送的数据是表单数据,则可以指定关键字参数 data,如果要求传递 json 格式字符串参数,则可以使用json关键字参数,参数的值都可以字典的形式传过去。

作为表单数据传输给服务器

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

作为 json 格式的字符串格式传输给服务器

响应内容

HTTP返回的响应消息中很重要的一部分内容是响应体,响应体在 requests 中处理非常灵活,与响应体相关的属性有:content、text、json()。

content 是 byte 类型,适合直接将内容保存到文件系统或者传输到网络中

text 是 str 类型,比如一个普通的 HTML 页面,需要对文本进一步分析时,使用 text。

如果使用第三方开放平台或者API接口爬取数据时,返回的内容是json格式的数据时,那么可以直接使用json()方法返回一个经过json.loads()处理后的对象。

代理设置

当爬虫频繁地对服务器进行抓取内容时,很容易被服务器屏蔽掉,因此要想继续顺利的进行爬取数据,使用代理是明智的选择。如果你想爬取墙外的数据,同样设置代理可以解决问题,requests 完美支持代理。这里我用的是本地 ShadowSocks 的代理,(socks协议的代理要这样安装 pip install requests[socks] )

超时设置

requests 发送请求时,默认请求下线程一直阻塞,直到有响应返回才处理后面的逻辑。如果遇到服务器没有响应的情况时,问题就变得很严重了,它将导致整个应用程序一直处于阻塞状态而没法处理其他请求。

正确的方式的是给每个请求显示地指定一个超时时间。

Session

在python爬虫入门教程--快速理解HTTP协议(一)中介绍过HTTP协议是一中无状态的协议,为了维持客户端与服务器之间的通信状态,使用 Cookie 技术使之保持双方的通信状态。

有些网页是需要登录才能进行爬虫操作的,而登录的原理就是浏览器首次通过用户名密码登录之后,服务器给客户端发送一个随机的Cookie,下次浏览器请求其它页面时,就把刚才的 cookie 随着请求一起发送给服务器,这样服务器就知道该用户已经是登录用户。

构建一个session会话之后,客户端第一次发起请求登录账户,服务器自动把cookie信息保存在session对象中,发起第二次请求时requests 自动把session中的cookie信息发送给服务器,使之保持通信状态。

项目实战

最后是一个实战项目,如何用 requests 实现知乎自动登录并给用户发私信,我会在下一篇文章中进行讲解。

总结

好了,

标签: python爬虫教程

本文链接地址:https://www.jiuchutong.com/biancheng/372366.html 转载请保留说明!

上一篇:Python操作使用MySQL数据库的实例代码(python mypy)

下一篇:Python爬虫之模拟知乎登录的方法教程(python模拟登录爬取数据)

  • 逾期未申报是什么意思
  • 小规模纳税人收入是含税还是不含税
  • 个人免征税额
  • 有形资产租赁服务的税率
  • 债务承担规定是什么意思
  • 法人能把公司账户的钱都转走么
  • 财政基建拨款如何做分录
  • 航空电子客票行程单在哪里打印
  • 分公司财务负责人和总公司财务负责人
  • 会计中预付款余额是什么
  • 资产处置收益计入营业收入吗
  • 空调属于固定资产类别的什么
  • 合法有效的凭证
  • 补发工资是否计入工资
  • 多借多贷的会计分录格式
  • 短期借款的会计凭证
  • 税交多了退税走到哪一流程了问谁
  • 能否异地进行税款支付?
  • 农村承包土地能卖土吗
  • 增值税减除后附加税计算方法
  • 外单位人员能在单位借款吗
  • 员工转入子公司怎么做账
  • 金税三期得死多少企业
  • 一般纳税人增值税申报操作流程
  • 增值税销售额怎么看
  • win7防火墙设置不了
  • i912900k用什么主板好
  • linux如何使用
  • rtfd文件
  • Win10 20H2 Beta 预览版 19042.782正式推送(附更新内容)
  • directx安全吗
  • 入库前仓储费用应计入
  • 银行手续费未开票汇算清缴要调增吗
  • 基于中国国情的中国式现代化具有哪些特色
  • 公司报销客户的差旅费
  • 记账凭证填制的依据
  • 权益法转成本法为什么用账面价值
  • f12开发者工具调试打不开
  • ajax调用php接口
  • api接口长什么样
  • 子公司借钱给母公司使用
  • 弃置费用摊销例题
  • 供应商退款需要冲库存商品吗
  • 一联发票和二联发票
  • 进口增值税完税证明网哪里打印的
  • 政府会计资产的概念
  • 一般纳税人租赁费税率5%是简易征收吗?
  • mysql中删除语句怎么写
  • 企业收到退回的社保费分录
  • 合同负债 案例
  • 营改增清包工
  • 发票一直没验旧会有什么影响
  • 银行承兑汇票提示付款期为几天
  • 低值易耗品意思
  • 收据能不能入账账户
  • 快递费专票可以报销吗
  • 什么是企业支付宝
  • 现值指数与净现值的关系
  • xp系统无法启动怎么办
  • centos配置网络地址
  • win10打开软件时卡住
  • win7安装软件出现乱码
  • windows英文版本
  • 进程spoolsv.exe
  • win7破解版和正版的区别
  • linux乱码怎么办
  • win7还原电脑系统的步骤
  • Win10 Mobile 10586.71截图曝光 修复已知问题
  • win8任务管理器灰色
  • win10怎么设置扩展屏
  • Linux使用scp命令进行文件远程的上传或下载
  • u3d怎么导入贴图
  • cmd运行指令闪黑框
  • opengl基本图形绘制
  • javascript definitive guide
  • 'tools.jar' seems to be not in Android Studio classpath. Please ensure JAVA_HOME points to JDK rathe
  • 基拉大和 freedom
  • js 原型继承的几种方法
  • jQuery+Ajax实现限制查询间隔的方法
  • 国家税务总局的局长什么级别
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设