位置: 编程技术 - 正文

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

编辑:rootadmin

推荐整理分享python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python爬虫自学系列,python爬虫入门教程非常详细,python爬虫入门教程非常详细,python爬虫教程,python爬虫教程,python爬虫入门教程,python爬虫入门教程,python爬虫入门教程非常详细,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

urllib、urllib2、urllib3、httplib、httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异,如果业务代码要同时兼容 2 和 3,写起来会让人崩溃。

好在,还有一个非常惊艳的 HTTP 库叫 requests,它是 GitHUb 关注数最多的 Python 项目之一,requests 的作者是 Kenneth Reitz 大神。

requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive、连接池、Cookie持久化、内容自动解压、HTTP代理、SSL认证、连接超时、Session等很多特性,最重要的是它同时兼容 python2 和 python3。requests 的安装可以直接使用 pip 方法:pip install requests

发送请求

响应内容

请求返回的值是一个Response 对象,Response 对象是对 HTTP 协议中服务端返回给浏览器的响应数据的封装,响应的中的主要元素包括:状态码、原因短语、响应首部、响应体等等,这些属性都封装在Response 对象中。

requests 除了支持 GET 请求外,还支持 HTTP 规范中的其它所有方法,包括 POST、PUT、DELTET、HEADT、OPTIONS方法。

查询参数

很多URL都带有很长一串参数,我们称这些参数为URL的查询参数,用"&#;"附加在URL链接后面,多个参数之间用"&"隔开,比如: ,现在你可以用字典来构建查询参数:

请求首部

requests 可以很简单地指定请求首部字段 Headers,比如有时要指定 User-Agent 伪装成浏览器发送请求,以此来蒙骗服务器。直接传递一个字典对象给参数 headers 即可。

请求体

requests 可以非常灵活地构建 POST 请求需要的数据,如果服务器要求发送的数据是表单数据,则可以指定关键字参数 data,如果要求传递 json 格式字符串参数,则可以使用json关键字参数,参数的值都可以字典的形式传过去。

作为表单数据传输给服务器

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

作为 json 格式的字符串格式传输给服务器

响应内容

HTTP返回的响应消息中很重要的一部分内容是响应体,响应体在 requests 中处理非常灵活,与响应体相关的属性有:content、text、json()。

content 是 byte 类型,适合直接将内容保存到文件系统或者传输到网络中

text 是 str 类型,比如一个普通的 HTML 页面,需要对文本进一步分析时,使用 text。

如果使用第三方开放平台或者API接口爬取数据时,返回的内容是json格式的数据时,那么可以直接使用json()方法返回一个经过json.loads()处理后的对象。

代理设置

当爬虫频繁地对服务器进行抓取内容时,很容易被服务器屏蔽掉,因此要想继续顺利的进行爬取数据,使用代理是明智的选择。如果你想爬取墙外的数据,同样设置代理可以解决问题,requests 完美支持代理。这里我用的是本地 ShadowSocks 的代理,(socks协议的代理要这样安装 pip install requests[socks] )

超时设置

requests 发送请求时,默认请求下线程一直阻塞,直到有响应返回才处理后面的逻辑。如果遇到服务器没有响应的情况时,问题就变得很严重了,它将导致整个应用程序一直处于阻塞状态而没法处理其他请求。

正确的方式的是给每个请求显示地指定一个超时时间。

Session

在python爬虫入门教程--快速理解HTTP协议(一)中介绍过HTTP协议是一中无状态的协议,为了维持客户端与服务器之间的通信状态,使用 Cookie 技术使之保持双方的通信状态。

有些网页是需要登录才能进行爬虫操作的,而登录的原理就是浏览器首次通过用户名密码登录之后,服务器给客户端发送一个随机的Cookie,下次浏览器请求其它页面时,就把刚才的 cookie 随着请求一起发送给服务器,这样服务器就知道该用户已经是登录用户。

构建一个session会话之后,客户端第一次发起请求登录账户,服务器自动把cookie信息保存在session对象中,发起第二次请求时requests 自动把session中的cookie信息发送给服务器,使之保持通信状态。

项目实战

最后是一个实战项目,如何用 requests 实现知乎自动登录并给用户发私信,我会在下一篇文章中进行讲解。

总结

好了,

标签: python爬虫教程

本文链接地址:https://www.jiuchutong.com/biancheng/372366.html 转载请保留说明!

上一篇:Python操作使用MySQL数据库的实例代码(python mypy)

下一篇:Python爬虫之模拟知乎登录的方法教程(python模拟登录爬取数据)

  • 个体工商户应如何购买社会保险公积金
  • 股权转让中土地房产占比较大时怎么交税
  • 个体工商户要做帐吗
  • 税收法律关系中最实质的东西是
  • 小规模销售产品会计分录
  • 小规模纳税人的起征点是多少
  • 支付残保金分录怎么写
  • 员工出差有补助吗
  • 个体户定额交税还用交个税吗
  • 税务局扣税余额不足
  • 支付劳务收入怎么做账
  • 培训费没有发票怎么办
  • 未分配利润的计税基础是
  • 在杂志上发表论文
  • 外地预缴个人所得税会计分录
  • 包装物计入科目
  • 企业专项储备属于什么科目
  • 工资发错了,多发了怎么办
  • 领用自产产品用于在建工程入账金额
  • 四项服务加计扣除政策2023
  • 对公账户一直没有流水怎么办
  • 如何在苹果电脑上删除软件
  • 应交增值税缴纳后入什么费用
  • 官网下载的iso怎么用u盘安装
  • 使用与保养
  • 不征税收入如何记账
  • PHP:preg_split()的用法_PCRE正则函数
  • 微软 Windows x64 仿真正式推出,只支持 Win11 ARM
  • 企业为员工提供服务要交增值税吗
  • 汇算清缴哪些表必填
  • 预计负债的所得税怎么算
  • 博茨瓦纳热吗
  • php做登录界面连接数据库
  • php docblocker
  • 网上打印企业征信流程
  • 2022年数学建模获奖结果
  • yolov4环境搭建
  • php如何实现重载
  • apr命令怎么用
  • 织梦怎么新建页面
  • 小企业会计准则和企业会计准则的区别
  • 子公司注销时的账务处理
  • 揭秘如何投屏纽约时代广场
  • sql存储过程详解图
  • 取得税务师证书申请社保补贴
  • 一般纳税人销售自己使用过的物品
  • 自产产品用于业务招待费
  • 应收款和实收款区别
  • 出纳去银行存现
  • 主播工资不发应该到哪里投诉
  • 其他业务支出的借贷方向
  • 到期不续约补偿金怎么算
  • 小微企业取得的进项税能不能抵扣
  • 库存商品视频讲解
  • 处理旧固定资产税率
  • 6月收到4月的单子怎么办
  • 以物易物有什么好处
  • 预收款退还如何处理
  • MySQL Index Condition Pushdown(ICP)性能优化方法实例
  • sql语句基础教程
  • redhat server
  • 怎样升级智慧中小学版本软件
  • sqlmangr.exe - sqlmangr是什么进程 有什么用
  • win8系统怎么搜索软件
  • centos7.4安装
  • scsiaccess.exe - scsiaccess是什么进程 有什么用
  • linux用yum
  • win7 64位旗舰版电脑如何取消网页自动保存密码?win7取消自动保存网页密码的方法
  • 在对linux系统中dir
  • windows7宽带连接断开怎么办
  • cocos2d-x教程
  • 用python写随机数
  • jQuery插件开发
  • javascript超链接的onclick
  • 远程调用call
  • 深入理解javascript特性
  • 拟录用人员公示后还会递补吗
  • 党日活动与专业建设结合
  • 外资企业怎样
  • 云南新农合怎么报销的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设