位置: 编程技术 - 正文

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

编辑:rootadmin

推荐整理分享python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python爬虫自学系列,python爬虫入门教程非常详细,python爬虫入门教程非常详细,python爬虫教程,python爬虫教程,python爬虫入门教程,python爬虫入门教程,python爬虫入门教程非常详细,内容如对您有帮助,希望把文章链接给更多的朋友!

前言

urllib、urllib2、urllib3、httplib、httplib2 都是和 HTTP 相关的 Python 模块,看名字就觉得很反人类,更糟糕的是这些模块在 Python2 与 Python3 中有很大的差异,如果业务代码要同时兼容 2 和 3,写起来会让人崩溃。

好在,还有一个非常惊艳的 HTTP 库叫 requests,它是 GitHUb 关注数最多的 Python 项目之一,requests 的作者是 Kenneth Reitz 大神。

requests 实现了 HTTP 协议中绝大部分功能,它提供的功能包括 Keep-Alive、连接池、Cookie持久化、内容自动解压、HTTP代理、SSL认证、连接超时、Session等很多特性,最重要的是它同时兼容 python2 和 python3。requests 的安装可以直接使用 pip 方法:pip install requests

发送请求

响应内容

请求返回的值是一个Response 对象,Response 对象是对 HTTP 协议中服务端返回给浏览器的响应数据的封装,响应的中的主要元素包括:状态码、原因短语、响应首部、响应体等等,这些属性都封装在Response 对象中。

requests 除了支持 GET 请求外,还支持 HTTP 规范中的其它所有方法,包括 POST、PUT、DELTET、HEADT、OPTIONS方法。

查询参数

很多URL都带有很长一串参数,我们称这些参数为URL的查询参数,用"&#;"附加在URL链接后面,多个参数之间用"&"隔开,比如: ,现在你可以用字典来构建查询参数:

请求首部

requests 可以很简单地指定请求首部字段 Headers,比如有时要指定 User-Agent 伪装成浏览器发送请求,以此来蒙骗服务器。直接传递一个字典对象给参数 headers 即可。

请求体

requests 可以非常灵活地构建 POST 请求需要的数据,如果服务器要求发送的数据是表单数据,则可以指定关键字参数 data,如果要求传递 json 格式字符串参数,则可以使用json关键字参数,参数的值都可以字典的形式传过去。

作为表单数据传输给服务器

python爬虫入门教程--优雅的HTTP库requests(二)(python爬虫教程)

作为 json 格式的字符串格式传输给服务器

响应内容

HTTP返回的响应消息中很重要的一部分内容是响应体,响应体在 requests 中处理非常灵活,与响应体相关的属性有:content、text、json()。

content 是 byte 类型,适合直接将内容保存到文件系统或者传输到网络中

text 是 str 类型,比如一个普通的 HTML 页面,需要对文本进一步分析时,使用 text。

如果使用第三方开放平台或者API接口爬取数据时,返回的内容是json格式的数据时,那么可以直接使用json()方法返回一个经过json.loads()处理后的对象。

代理设置

当爬虫频繁地对服务器进行抓取内容时,很容易被服务器屏蔽掉,因此要想继续顺利的进行爬取数据,使用代理是明智的选择。如果你想爬取墙外的数据,同样设置代理可以解决问题,requests 完美支持代理。这里我用的是本地 ShadowSocks 的代理,(socks协议的代理要这样安装 pip install requests[socks] )

超时设置

requests 发送请求时,默认请求下线程一直阻塞,直到有响应返回才处理后面的逻辑。如果遇到服务器没有响应的情况时,问题就变得很严重了,它将导致整个应用程序一直处于阻塞状态而没法处理其他请求。

正确的方式的是给每个请求显示地指定一个超时时间。

Session

在python爬虫入门教程--快速理解HTTP协议(一)中介绍过HTTP协议是一中无状态的协议,为了维持客户端与服务器之间的通信状态,使用 Cookie 技术使之保持双方的通信状态。

有些网页是需要登录才能进行爬虫操作的,而登录的原理就是浏览器首次通过用户名密码登录之后,服务器给客户端发送一个随机的Cookie,下次浏览器请求其它页面时,就把刚才的 cookie 随着请求一起发送给服务器,这样服务器就知道该用户已经是登录用户。

构建一个session会话之后,客户端第一次发起请求登录账户,服务器自动把cookie信息保存在session对象中,发起第二次请求时requests 自动把session中的cookie信息发送给服务器,使之保持通信状态。

项目实战

最后是一个实战项目,如何用 requests 实现知乎自动登录并给用户发私信,我会在下一篇文章中进行讲解。

总结

好了,

标签: python爬虫教程

本文链接地址:https://www.jiuchutong.com/biancheng/372366.html 转载请保留说明!

上一篇:Python操作使用MySQL数据库的实例代码(python mypy)

下一篇:Python爬虫之模拟知乎登录的方法教程(python模拟登录爬取数据)

  • 自有住房出租
  • 海关关税计算公式
  • 企业消费税会计处理案例
  • 年末结转净利润
  • 小规模减免税款的账务处理
  • 小企业会计准则适用于哪些企业
  • 工业土地划拨性质有年限吗
  • 小规模纳税人每个月需要报什么税
  • 电子承兑汇票接收和转出步骤
  • 财务软件怎样结转销售成本
  • 不动产发票怎么填写
  • 退货冲减收入
  • 不动产发票丢了怎么办理房产证
  • 一般和小规模纳税人哪个免税
  • 工会经费人数在哪里查询
  • 职工教育法
  • 车船使用税凭证还要过户吗怎么办
  • 资产收购账务处理
  • 发票已认证开票方未报税要怎么作废?
  • 研发费用计入什么科目符合资本化
  • win10 microsoft store怎么改变下载途径
  • 事业单位收受礼品怎么处理
  • linux系统的
  • 赠送积分有两种形式
  • php数组函数大全
  • 设置浏览器显示网络异常
  • php模拟get请求
  • 海关交税标准表
  • 你正在树干上睡觉
  • 企业上交财政款分录
  • 免抵退税帐务处理
  • 跨年费用入账
  • 电力安装公司需要什么资质证书
  • thinkphp import
  • 企业法人歇业后诉讼主体确认
  • 原生ajax和axios的区别
  • effective c++ github
  • php提供的三种在函数内使用全局变量的方式
  • electron引入vue
  • 建材公司成本率一般多少
  • 新增总产值
  • 手工凭证三级明细
  • php文件缓存类
  • ps遇到了文件尾
  • 收入少收钱账务处理
  • 借预收账款贷其他应付款什么意思
  • 工程施工与工程结算对冲分录
  • 高铁票进项抵扣计算错了 怎么办理
  • Centos5.5中安装Mysql5.5过程分享
  • 对股息红利的征税
  • 预收账款是资产类科目吗
  • 帮人家开税票对自己生意有影响么
  • 股票质押式回购交易是什么意思
  • 待抵扣进项税额分录
  • 月末结转后应交税费应交增值税一般无余额
  • 车辆购置税是怎么计算的
  • 购入的无形资产加计扣除怎么算
  • 事业编制可以带计算器吗
  • 餐饮行业的原材料怎么做账
  • 暂估的费用次年调增怎么做会计分录
  • 会计出账入账怎么做
  • 微软补丁修复时出现蓝屏现象
  • imessage对方看了会显示已读吗
  • GrooveMonitor.exe是什么进程?GrooveMonitor.exe可以禁用卸载吗?
  • win10添加闹钟
  • window8怎么样
  • win10笔记本不显示桌面
  • unity制作ar手机游戏
  • Metaio SDK 6.0.2自带Example自己实现(三)
  • js匿名函数作用域
  • js限制数组长度
  • 巧用dos命令合并图层
  • dos常用命令与批处理文件
  • node js作用
  • scp 将数据从一台linux服务器复制到另一台linux服务器
  • LinearLayout layout_weight解析
  • 湖北商铺契税2021年新规
  • 江苏省常州市国事业单位国企招录测绘工程研究生公告
  • 税务局有事业单位编制吗
  • 财税库银是什么费用
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设