python黑魔法之编码转换(python黑魔法手册)

编辑：rootadmin

推荐整理分享python黑魔法之编码转换(python黑魔法手册)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python魔法方法str,python魔法方法str,python 黑魔法指南,python 黑魔法,黑魔法的代码,python 黑魔法,python 黑魔法,python黑魔法手册 pdf,内容如对您有帮助，希望把文章链接给更多的朋友！

我们在使用其他语言的库做编码转换时，对于无法理解的字符，通常的处理也只有两种（或三种）：

抛异常替换成替代字符跳过

但是在复杂的现实世界中，由于各种不靠谱，我们处理的文本总会出现那么些不和谐因素，比如混合编码。在这种情况下，又回到了上面的处理办法。

那么问题来了，python有没有更好地办法呢？

答案是，有！

python的编码转换流程实际上是两段式转换：

首先将字符串从原始编码转换成unicode。再将unicode转换成目标编码。

第一步我们一般采用decode()或者 unicode() 这两个函数完成。第二步我们使用encode()函数完成。

在这里我们说的黑魔法就是在第一步实现。

decode和unicode函数都有一个叫做errors的可选参数。看看官方的描述：

errors may be given to set a different error handling scheme. Default is 'strict' meaning that encoding errors raise a UnicodeDecodeError. Other possible values are 'ignore' and 'replace' as well as any other name registered with codecs. register_error that is able to handle UnicodeDecodeErrors.

这个参数通常有三种值：

strict 默认值。如果出现编码错误，则会抛出UnicodeDecodeError。 ignore 跳过。 replace 用&#;替换。

好了，看到最后一句话了吗？好戏上演了！

模块codec有一个函数叫做register_error。他的作用让用户可以注册自定义的errors处理方法。用来处理UnicodeDecodeError。

我们看看函数原型：

name: 错误处理的名称。用以填写在decode函数的error参数中。error_handler: 处理函数。该函数接受一个异常参数。返回一个tuple，该tuple有2个元素，第一个是纠错后的字符串，第二个是继续decode的起始位置

有了上面的基本概念。我们看下具体实现：

上面这个是我从网上copy的。开始我觉得很不错，但是后来发现是个很不经推敲的算法。比如utf8和gbk在前两个字节就有交集的部分。当一个utf8的字符串以gbk编码decode的时候，出现错误是从第三个字节开始（前两个字节也能够在gbk编码范围中对应到一个汉字）。如：

所以针对这种情况，做了下改进：

当然，这个逻辑其实还是不够严谨的。虽然对于这种混合编码这种畸形活处理有点较真儿。不过既然python提供这样的能力，大家可以一起来讨论下，我们怎么可以做的更好&#;

在MAC上搭建python数据分析开发环境最近工作转型到数据开发领域，想在本地搭建一个数据开发环境。自己有三年python开发经验，马上想到使用numpy、scipy、sklearn、pandas搭建一套数据开发环

python中的编码知识整理汇总问题在平时工作中，遇到了这样的错误：UnicodeDecodeError:'ascii'codeccan'tdecodebyte想必大家也都碰到过，很常见。于是决定对python的编码做一个整理和学习。