位置: 编程技术 - 正文

python实现unicode转中文及转换默认编码的方法(python输出unicode编码)

编辑:rootadmin

推荐整理分享python实现unicode转中文及转换默认编码的方法(python输出unicode编码),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python2 unicode,python unicode utf8,python中unicodeescape,python中unicodeescape,python中unicodeescape,python2 unicode,python2 unicode,python中unicodeescape,内容如对您有帮助,希望把文章链接给更多的朋友!

本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考,具体如下:

一、在爬虫抓取网页信息时常需要将类似"u4ebaufue6ueduff0cpyufu5cb8"转换为中文,实际上这是unicode的中文编码。可用以下方法转换:

1、

2、

二、另外,在python2的字符编码问题时常会遇到“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range()”的编码错误。

而用以下方法通常可以解决:

此方法是将Python2的默认编码ASCII改为 utf-8。但此方法不是一劳永逸的,可能会使一些代码的行为变得怪异。

关于sys.setdefaultencoding('utf-8')的补充:

sys.setdefaultencoding('utf-8') 会导致的两个大问题

简单来说这么做将会使得一些代码行为变得怪异,而这怪异还不好修复,以一个不可见的 bug 存在着。下面我们举两个例子。

1. 编码错误

输出:

在上面的代码中,默认的 ascii 编码无法解码,Ã&frac; latin-1 编码 hex 表示是 c3 be ,显然是超出了只有个字符的 ascii 码集的,引发 UnicodeError 异常,进入异常处理。异常处理则会根据编码探测,用最可能的编码来解码,会比较靠谱地输出 Ã&frac; 。

而一旦我们将 defaultencoding 设置为 utf-8,因为 utf-8 的字符范围是完全覆盖 latin-1,因此,会直接使用 utf-8 进行解码。c3 be 在 utf-8 中,是 þ。于是我们打印出了完全不同的字符。

可能你们会说我们不会写这样的代码。如果我们写了也会做修正。但如果是第三方库这么写了呢?项目依赖的第三方库就这么 bug 了。如果你不依赖第三方库,那么下面这个 bug,还是逃不过。

2. dictionray 行为异常

假设我们要从一个 dictionary 里查找一个 key 是否存在,通常来说,有两种可行方法。

我们对比下改变系统默认编码前后这俩函数的输出有什么不同。

python实现unicode转中文及转换默认编码的方法(python输出unicode编码)

输出:

可以看到,当默认编码改了之后,两个函数的输出不再一致。

dict 的 in 操作符将键做哈希,并比较哈希值判断是否相等。对于 ascii 集合内的字符来说,不管是字节字符类型还是还是 unicode 类型,其哈希值是一样的,如 u'1' in {'1':1} 会返回 True,而超出 ascii 码集的字符,如上例中的 '你好',它的字节字符类型的哈希与 unicode 类型的哈希是不一样的。

而 == 操作符则是做了一次转换,将字节字符(byte string,上面的 '你好')转换成 unicode(u'你好') 类型,然后对转换后的结果做比较。在 ascii 系统默认编码中,'你好'转换成 Unicode 会产生 Warning: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal,因为超出码集无法转换,系统会默认其不相等。当系统编码被我们手动改为 utf-8 后,这个禁忌则被解除,'你好' 能够顺利被转换成 unicode,最后的结果就是,in 和 == 行为不再一致。

问题的根源:Python2 中的 string

Python 为了让其语法看上去简洁好用,做了很多 tricky 的事情,混淆 byte string 和 text string 就是其中一例。

在 Python 里,有三大类 string 类型,unicode(text string),str(byte string,二进制数据),basestring,是前两者的父类。

其实,在语言设计领域,一串字节(sequences of bytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的 Java 和 C# 投了反对票,而 Python 则站在了支持者的阵营里。其实我们在很多情况下,给文本做的操作,比如正则匹配、字符替换等,对于字节来说是用不着的。而 Python 认为字节就是字符,所以他们俩的操作集合是一致的。

然后进一步的,Python 会在必要的情况下,尝试对字节做自动类型转换,例如,在上文中的 ==,或者字节和文本拼接时。如果没有一个编码(encoding),两个不同类型之间的转换是无法进行的,于是,Python 需要一个默认编码。在 Python2 诞生的年代,ASCII 是最流行的(可以这么说吧),于是 Python2 选择了 ASCII。然而,众所周知,在需要需要转换的场景,ASCII 都是没用的(个字符,够什么吃)。

在历经这么多年吐槽后,Python 3 终于学乖了。默认编码是 Unicode,这也就意味着,做所有需要转换的场合,都能正确并成功的转换。

最佳实践

说了这么多,如果不迁移到 Python 3,能怎么做呢?

有这么几个建议:

所有 text string 都应该是 unicode 类型,而不是 str,如果你在操作 text,而类型却是 str,那就是在制造 bug。

在需要转换的时候,显式转换。从字节解码成文本,用 var.decode(encoding),从文本编码成字节,用 var.encode(encoding)。

从外部读取数据时,默认它是字节,然后 decode 成需要的文本;同样的,当需要向外部发送文本时,encode 成字节再发送。

PS:这里再为大家提供几款Unicode编码转换操作相关工具供大家参考使用:

在线Unicode/中文转换工具: Socket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python变量和字符串详解 几个月前,我开始学习个人形象管理,从发型、妆容、服饰到仪表仪态,都开始做全新改造,在塑造个人风格时,最基础的是先了解自己属于哪种风格

Python简单实现Base编码和解码的方法 本文实例讲述了Python简单实现Base编码和解码的方法。分享给大家供大家参考,具体如下:Base编码是一种防君子不防小人的编码方式。广泛应用于MIME

python基于pyDes库实现des加密的方法 本文实例讲述了python基于pyDes库实现des加密的方法。分享给大家供大家参考,具体如下:下载及简介地址:

标签: python输出unicode编码

本文链接地址:https://www.jiuchutong.com/biancheng/375581.html 转载请保留说明!

上一篇:Python 正则表达式实现计算器功能

下一篇:Python变量和字符串详解(python变量字符串等函数)

  • 什么是所得税税负
  • 盈余公积转增资本会影响所有者权益吗
  • 不动产租赁税率9%
  • 银行存款支付是借还是贷
  • 三栏式明细账适用于银行存款吗
  • 金税四期有什么优势
  • 公司所得税费用怎么算报多少钱
  • 申报增值税无附表怎么填写
  • 买二手房没满2年多少税
  • 销售商品的会计分录现金折扣
  • 资源税征税范围有哪些
  • 福利费用交个人所得税吗
  • 待处理财产损益是什么意思
  • 员工离职 社保
  • 购买的专利可以进费用吗
  • 个体户要申报哪些报表
  • 发票金额开错说明如何书写?
  • 安装工程中安装工程与市政路灯工程界定不正确的是
  • 跨年度发票退回如何记账
  • 认缴制下股权转让如何不交税
  • 960011094开票提示
  • 混凝土的增值税率是多少
  • 稿酬所得的个税计算
  • 应收利息和应计利息有什么不同
  • linux批量删除
  • 资产评估报告包括
  • macOS 11 Big Sur 开发者预览版 Beta 7正式推送
  • 土地增值税清算收入如何确定
  • elf.exe是什么程序
  • 日出的时候是圣诞节
  • 最贵的安卓应用软件
  • HTML布局方式
  • 私有化部署chatGPT,告别网络困扰
  • 天然气票据
  • 不锈钢广告牌制作价格
  • 其他权益工具投资属于什么科目
  • 应收借方表示什么
  • 科目余额表和资产负债表的金额不一致的原因
  • 结构重参数化2d pose
  • 合作社计提工资
  • 老板财务报表模板
  • 办理外经证缴税流程
  • mongodb主备配置
  • Linux sqlite3 基本命令
  • 织梦官方网站
  • 企业年报股东出资信息
  • 小规模纳税人防水工程专用发票税率是多少
  • 往酒吧送酒怎么样
  • 税务局的罚款记录怎么查
  • 增值税发票跨月可以作废吗
  • 报销单据粘贴单模板
  • 营改增后营业费用科目还有吗
  • 售后回租的实际利率怎么计算
  • 不含税销售额等于净利润
  • 社保账务如何做会计分录
  • 递延收益的主要形式有
  • 投资款计入哪个科目
  • 无发票 入账
  • 建筑施工企业会计分录大全
  • 深入理解linux内核架构
  • linux安装sz
  • rhel7.5重置密码
  • 更加有效率
  • realmon.exe - realmon是什么进程 有什么用
  • bootstrap框架怎么用
  • excel文档权限设置
  • 超大安卓游戏
  • 用python加密
  • javascript实现2048游戏示例
  • vue router使用query和params传参的使用和区别
  • unity射击游戏完整案例
  • 获取某个div的高度
  • Vuforia How To Use Android Plugins in Unity Apps
  • 文化事业建设费是什么税
  • 增值税发票综合服务平台登录不了
  • 云南人社12333app官网
  • 销售哪些产品需办许可证
  • 企业自有房屋需要交税吗
  • 城镇土地使用税减免税政策
  • 本科毕业去上海找什么工作好
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设