位置: 编程技术 - 正文

浅谈Python爬取网页的编码处理(python3.9爬取网页教程)

编辑:rootadmin

推荐整理分享浅谈Python爬取网页的编码处理(python3.9爬取网页教程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:如何利用python爬取网页内容,python爬取网址,python爬取网址,python爬虫爬取网页,用python爬取网站数据,python爬取网址,用python爬取网站数据,利用python爬取简单网页数据步骤,内容如对您有帮助,希望把文章链接给更多的朋友!

背景

中秋的时候,一个朋友给我发了一封邮件,说他在爬链家的时候,发现网页返回的代码都是乱码,让我帮他参谋参谋(中秋加班,真是敬业= =!),其实这个问题我很早就遇到过,之前在爬小说的时候稍微看了一下,不过没当回事,其实这个问题就是对编码的理解不到位导致的。

问题

很普通的一个爬虫代码,代码是这样的:

目的其实很简单,就是爬一下链家的内容,但是这样执行之后,返回的结果,所有涉及到中文的内容,全部会变成乱码,比如这样

这样的数据拿来可以说毫无作用。

问题分析

这里的问题很明显了,就是文字的编码不正确,导致了乱码。

查看网页的编码

从爬取的目标网页的头来看,网页是用utf-8来编码的。

所以,最终的编码,我们肯定也要用utf-8来处理,也就是说,最终的文本处理,要用utf-8来解码,也就是:decode('utf-8')

文本的编码解码

Python的编码解码的过程是这样的,源文件 ===》 encode(编码方式) ===》decode(解码方式),在很大的程度上,不推荐使用

这种方式来硬处理文字编码。不过在某些时候不影响的情况下,偷偷懒也不是什么大问题,不过比较建议的就是获取源文件之后,使用encode和decode的方式来处理文本。

浅谈Python爬取网页的编码处理(python3.9爬取网页教程)

回到问题

现在问题最大的是源文件的编码方式,我们正常使用requests的时候,它会自动猜源文件的编码方式,然后转码成Unicode的编码,但是,毕竟是程序,是有可能猜错的,所以如果猜错了,我们就需要手工来指定编码方式。官方文档的描述如下:

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers. The text encoding guessed by Requests is used when you access r.text. You can find out what encoding Requests is using, and change it, using the r.encoding property.

所以我们需要查看requests返回的编码方式到底是什么?

打印的结果如下:

ISO--1

也就是说,源文件使用的是ISO--1来编码。百度一下ISO--1,结果如下:

ISO-1,通常叫做Latin-1。Latin-1包括了书写所有西方欧洲语言不可缺少的附加字符。

问题解决

发现了这个东东,问题就很好解决了,只要指定一下编码,就能正确的打出中文了。代码如下:

打印的结果就很明显,中文都正确的显示出来了。

另一种方式是在源文件上做解码和编码,代码如下:

另:ISO--1也叫做latin1,使用latin1做解码结果也是正常的。

关于字符的编码,很多东西可以说,想了解的朋友可以参考以下大神的资料。

&#;《The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)》

以上这篇浅谈Python爬取网页的编码处理就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持积木网。

基于Python的接口测试框架实例 背景最近公司在做消息推送,那么自然就会产生很多接口,测试的过程中需要调用接口,我就突然觉得是不是可以自己写一个测试框架?说干就干,由

Python+MongoDB自增键值的简单实现 背景最近在写一个测试工具箱,里面有一个bug记录系统,因为后台我是用Django和MongoDB来实现的,就遇到了一个问题,要如何实现一个自增的字段。传统

django1.8使用表单上传文件的实现方法 Python下有许多款不同的Web框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Django是一个开放源代码的Web应用框架,由Pytho

标签: python3.9爬取网页教程

本文链接地址:https://www.jiuchutong.com/biancheng/383450.html 转载请保留说明!

上一篇:Django接受前端数据的几种方法总结(django 接收前端的json)

下一篇:基于Python的接口测试框架实例(python接口编写)

  • 单位产品销售税金
  • 长期待摊费用的账务处理
  • 进项和销项税额需要结转吗
  • 购买的金蝶软件怎么记账
  • 小规模季度申报怎么申报
  • 委托加工物资属于在产品吗
  • 出纳如何做好保密工作
  • 筹资活动现金流量净额为负
  • 对方公司退回货款,但发票已经开了怎么写摘要
  • 货运代理公司会计涉及的科目
  • 企业贷款发生的利息、手续费
  • 其他综合收益包含哪些科目
  • 增值税专用发票可以开电子发票吗
  • 案例分析房租完税证明怎么入账?
  • 专票红冲如何做账
  • 三类小规模纳税标准
  • 小规模纳税人自来水税率
  • 小规模银行存款多笔小金额财务费用可以合并记账吗?
  • 企业的应收账款周转率越大,说明发生坏账
  • 外包物流适用范围
  • 非专利技术转让合同印花税
  • 劳务派遣 税务
  • 认购价和发行价的差价
  • 投资合伙企业对公司有债务责任吗
  • 实收资本和资产的关系
  • 如何绕开压缩包密码
  • 注册表关闭微软yes改成no
  • 企业缴纳社保包含哪些内容
  • 如何输入特殊符号带圈数字11
  • hipsdaemon.exe是什么
  • 公司没有营业额零报税的后果
  • 一个完整的php文件有哪些元素组成
  • 人力资源规划系统包括哪些主要内容
  • wordpress用什么开发的
  • wordpress调用指定文章
  • 资本金投资回报率
  • 拉帕努伊国家公园
  • 前端是指什么工作
  • uniapp云打包收费
  • 银行贴现利息怎么做账务处理
  • 公司买的公文包会计怎么做
  • 3分钟认识Vue3的v-model
  • 企业办理退税,税务机关要检查吗
  • 国有资产划转实施方案
  • 财政拨付资金什么意思
  • 农民工专用账户回执单
  • 垮年发票作废
  • 公司车辆退保进哪个科目
  • day15-Servlet04
  • dedecms插件
  • 清算存货分配给股东账分录
  • 基建拨款在新政府会计制度对应什么科目
  • 存货在报表里是如何体现的
  • 垃圾清运费属于什么服务
  • 机票报销属于什么科目
  • 不动产初始登记证明
  • 收到其他公司往来款怎么做账
  • 土地使用权出资是什么意思
  • 零申报是不是什么都不用填
  • 应交税费减免税额在借方还是贷方
  • 销售回款率怎么计算,麻烦知道的告诉我,11
  • mysqlyog安装教程
  • Win10如何禁止显卡驱动自动更新
  • centos安装编译环境
  • 联想e430安装win10
  • 电脑右下角windows设置在哪
  • ubuntu中用root删除文件夹
  • 怎么添加第二个人脸识别
  • qt渲染机制
  • javascript折叠菜单
  • perl 运算
  • javascript详细介绍
  • js操作属性的方法
  • JavaScript中的变量名不区分大小写
  • android基础知识大全
  • wordpress教程
  • 甲种本什么意思
  • 出口退税额与出口退税收入
  • 青岛国税服务电话
  • 耗电异常优化是什么意思微信
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设