位置: 编程技术 - 正文

python实现unicode转中文及转换默认编码的方法(python输出unicode编码)

编辑:rootadmin

推荐整理分享python实现unicode转中文及转换默认编码的方法(python输出unicode编码),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python2 unicode,python unicode utf8,python中unicodeescape,python中unicodeescape,python中unicodeescape,python2 unicode,python2 unicode,python中unicodeescape,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考,具体如下:

一、在爬虫抓取网页信息时常需要将类似"u4ebaufue6ueduff0cpyufu5cb8"转换为中文,实际上这是unicode的中文编码。可用以下方法转换:

1、

2、

二、另外,在python2的字符编码问题时常会遇到“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range()”的编码错误。

而用以下方法通常可以解决:

此方法是将Python2的默认编码ASCII改为 utf-8。但此方法不是一劳永逸的,可能会使一些代码的行为变得怪异。

关于sys.setdefaultencoding('utf-8')的补充:

sys.setdefaultencoding('utf-8') 会导致的两个大问题

简单来说这么做将会使得一些代码行为变得怪异,而这怪异还不好修复,以一个不可见的 bug 存在着。下面我们举两个例子。

1. 编码错误

输出:

在上面的代码中,默认的 ascii 编码无法解码,Ã&frac; latin-1 编码 hex 表示是 c3 be ,显然是超出了只有个字符的 ascii 码集的,引发 UnicodeError 异常,进入异常处理。异常处理则会根据编码探测,用最可能的编码来解码,会比较靠谱地输出 Ã&frac; 。

而一旦我们将 defaultencoding 设置为 utf-8,因为 utf-8 的字符范围是完全覆盖 latin-1,因此,会直接使用 utf-8 进行解码。c3 be 在 utf-8 中,是 þ。于是我们打印出了完全不同的字符。

可能你们会说我们不会写这样的代码。如果我们写了也会做修正。但如果是第三方库这么写了呢?项目依赖的第三方库就这么 bug 了。如果你不依赖第三方库,那么下面这个 bug,还是逃不过。

2. dictionray 行为异常

假设我们要从一个 dictionary 里查找一个 key 是否存在,通常来说,有两种可行方法。

我们对比下改变系统默认编码前后这俩函数的输出有什么不同。

python实现unicode转中文及转换默认编码的方法(python输出unicode编码)

输出:

可以看到,当默认编码改了之后,两个函数的输出不再一致。

dict 的 in 操作符将键做哈希,并比较哈希值判断是否相等。对于 ascii 集合内的字符来说,不管是字节字符类型还是还是 unicode 类型,其哈希值是一样的,如 u'1' in {'1':1} 会返回 True,而超出 ascii 码集的字符,如上例中的 '你好',它的字节字符类型的哈希与 unicode 类型的哈希是不一样的。

而 == 操作符则是做了一次转换,将字节字符(byte string,上面的 '你好')转换成 unicode(u'你好') 类型,然后对转换后的结果做比较。在 ascii 系统默认编码中,'你好'转换成 Unicode 会产生 Warning: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal,因为超出码集无法转换,系统会默认其不相等。当系统编码被我们手动改为 utf-8 后,这个禁忌则被解除,'你好' 能够顺利被转换成 unicode,最后的结果就是,in 和 == 行为不再一致。

问题的根源:Python2 中的 string

Python 为了让其语法看上去简洁好用,做了很多 tricky 的事情,混淆 byte string 和 text string 就是其中一例。

在 Python 里,有三大类 string 类型,unicode(text string),str(byte string,二进制数据),basestring,是前两者的父类。

其实,在语言设计领域,一串字节(sequences of bytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的 Java 和 C# 投了反对票,而 Python 则站在了支持者的阵营里。其实我们在很多情况下,给文本做的操作,比如正则匹配、字符替换等,对于字节来说是用不着的。而 Python 认为字节就是字符,所以他们俩的操作集合是一致的。

然后进一步的,Python 会在必要的情况下,尝试对字节做自动类型转换,例如,在上文中的 ==,或者字节和文本拼接时。如果没有一个编码(encoding),两个不同类型之间的转换是无法进行的,于是,Python 需要一个默认编码。在 Python2 诞生的年代,ASCII 是最流行的(可以这么说吧),于是 Python2 选择了 ASCII。然而,众所周知,在需要需要转换的场景,ASCII 都是没用的(个字符,够什么吃)。

在历经这么多年吐槽后,Python 3 终于学乖了。默认编码是 Unicode,这也就意味着,做所有需要转换的场合,都能正确并成功的转换。

最佳实践

说了这么多,如果不迁移到 Python 3,能怎么做呢?

有这么几个建议:

所有 text string 都应该是 unicode 类型,而不是 str,如果你在操作 text,而类型却是 str,那就是在制造 bug。

在需要转换的时候,显式转换。从字节解码成文本,用 var.decode(encoding),从文本编码成字节,用 var.encode(encoding)。

从外部读取数据时,默认它是字节,然后 decode 成需要的文本;同样的,当需要向外部发送文本时,encode 成字节再发送。

PS:这里再为大家提供几款Unicode编码转换操作相关工具供大家参考使用:

在线Unicode/中文转换工具: Socket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python变量和字符串详解 几个月前,我开始学习个人形象管理,从发型、妆容、服饰到仪表仪态,都开始做全新改造,在塑造个人风格时,最基础的是先了解自己属于哪种风格

Python简单实现Base编码和解码的方法 本文实例讲述了Python简单实现Base编码和解码的方法。分享给大家供大家参考,具体如下:Base编码是一种防君子不防小人的编码方式。广泛应用于MIME

python基于pyDes库实现des加密的方法 本文实例讲述了python基于pyDes库实现des加密的方法。分享给大家供大家参考,具体如下:下载及简介地址:

标签: python输出unicode编码

本文链接地址:https://www.jiuchutong.com/biancheng/375581.html 转载请保留说明!

上一篇:Python 正则表达式实现计算器功能

下一篇:Python变量和字符串详解(python变量字符串等函数)

  • 烟叶税怎样计算
  • 增值税即征即退怎么计算
  • 汽车销售和租赁哪个大
  • 小微企业应纳税所得额怎么计算
  • 基本户可以开立几个
  • 运输发票抵扣税怎么算
  • 公积金贷款购房后可以提取公积金吗
  • 市场开发费用会计分录
  • 企业购入投资性房地产
  • 出口退税备案完后怎么办
  • 待处置资产损溢在什么科目
  • 无形资产评估增值
  • 增值税专用发票可以开电子发票吗
  • 金税三期退税
  • 开票的时候如何把价格分散开
  • 记账凭证做完之后干什么
  • 应收出租包装物的租金计入
  • 公司开13个点增值税交多少钱
  • 个体户没有进项票怎么开销项发票
  • bios设置的完整说法
  • kali linux安装kde桌面
  • 固定成本变动成本混合成本的分类
  • 幼儿园收入如何计算
  • win11预览版更新界面
  • element plus 虚拟化表格
  • winpe怎么安装到u盘
  • xwizard.exe是什么
  • 金融商品转让的增值税怎么计算
  • 印花税怎么交款
  • php vr
  • 转让股权企业所得税怎么计算
  • windows 10音响没有声音
  • php7.1
  • 增值税申报时,里面没有数据怎么办
  • php判断文件后缀
  • 到2023年
  • 高通芯片开发
  • 什么是劳务派遣制员工
  • 织梦相关文章调用
  • 织梦如何采集文章
  • 利用职务之便谋取私利是什么罪
  • mysql用户授权信息保存在哪里
  • mongodb配置远程访问
  • 季度利润表是累计数吗
  • 季度所得税申报错误,一定要更改吗
  • 长期股权投资权益法账务处理
  • 信用减值借贷方向增减
  • 固定资产费用化有什么影响
  • 固定资产低于净值出售会计处理
  • 什么叫日常业务
  • 允许在企业所得税税前扣除的
  • 进项税和销项税月末怎么结转
  • 商品互换定义
  • 预付账款和其他应付款的区别
  • 企业利润分配应当遵循的原则
  • 坏账准备的计提分录
  • 未达起征点怎么报税
  • sql 超时时间
  • win10和os x el capitan分屏操作对比视频
  • ubuntu 系统卡住
  • win10系统找不到mrt
  • centos7rz
  • win10预览版21337
  • win7开机后一段时间卡死
  • linux查看指定内容
  • win10怎么快一点
  • linux系统怎么添加用户名和密码
  • linux系统的安装配置
  • js 对象内存 占用
  • unity物体边缘发光
  • npm安装淘宝镜像操作方式
  • js面向对象编程思想
  • jquery 文本框
  • 如何判断安卓手机
  • javascript编写
  • jquery detach
  • 用javascript
  • android的中文
  • 江苏国家电子税务局网站
  • 药品定价的三种形式
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设