位置: 编程技术 - 正文
Python结巴中文分词工具使用过程中遇到的问题及解决方法(python结巴分词)
编辑：rootadmin推荐整理分享Python结巴中文分词工具使用过程中遇到的问题及解决方法(python结巴分词)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:结巴分词 python 教程,python结巴分词的缺点,python 汉语,结巴分词php,结巴分词php,python中文帮助,python结巴分词,python 汉语,内容如对您有帮助，希望把文章链接给更多的朋友！
本文实例讲述了Python结巴中文分词工具使用过程中遇到的问题及解决方法。分享给大家供大家参考，具体如下：
结巴分词是Python语言中效果最好的分词工具，其功能包括：分词、词性标注、关键词抽取、支持用户词表等。这几天一直在研究这个工具，在安装与使用过程中遇到一些问题，现在把自己的一些方法帖出来分享一下。
官网地址： jieba 或者 pip install jieba，可是并没有找到它提供这个安装程序。
第二种方法是半自动安装：先下载 ，解压后在cmd命令行中运行 python setup.py install。这里需要注意的是，默认情况下，不能在cmd中直接运行python命令，需要把它的路径加入到环境变量path中方可。我试过，可行。但是 这种方法安装之后，结巴分词功能只能在Python自带的IDLE中使用。在含有PyDEV的MyEclipse中不能执行“import jieba”命令，所以继续尝试第三种方法。
第三种方法是手动安装：将jieba目录放置于当前目录或者site-packages目录。把下载到的jieba-0..zip解压后，里面有个jibba的文件夹，把它复制到与你的Python程序相同的位置，这样在程序中就可以执行“import jieba”了。
2、关于分词的实现
官网提供了分词的基本用法示例 ：
程序可以执行，但是在MyEclipse中显示中文为Unicode编码，这不科学。
但是继续执行另一个词性标注的示例却非常正常：
所以我就想去分析一下它的源代码，结果发现在jiba/_init_.py文件（这是实现分词的文件）的第行（cut函数）中有关于检查编码的语句块：
而在jieba/posseg/_init_.py文件（这是实现词性标注的文件）第行的cut函数中却没有发现此类代码。所以我猜想，前者有检查编码的代码就出现乱码，而后者没有检查编码的代码而正常显示，所以就把前者检查编码的代码给注释了，结果程序执行报错，只好又把人家的源码还原，结果中文又正常显示了！
运行效果如下图：
以上只是对固定的中文字符串变量进行分词和词性标注，接下来的文章里我会尝试从文件中读取中文进行分词和词性标注。
更多关于Python相关内容可查看本站专题：《Python字典操作技巧汇总》、《Python字符串操作技巧汇总》、《Python常用遍历技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
Python中文分词工具之结巴分词用法实例总结【经典案例】 本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考，具体如下：结巴分词工具的安装及基本用法，前面的文章《Python结巴中文
Python生成随机数组的方法小结 本文实例讲述了Python生成随机数组的方法。分享给大家供大家参考，具体如下：研究排序问题的时候常常需要生成随机数组来验证自己排序算法的正确
Python 列表(List) 的三种遍历方法实例 详解 Python遍历最近学习python这门语言，感觉到其对自己的工作效率有很大的提升，下面废话不多说，直接贴代码#!/usr/bin/envpython#-*-coding:utf-8-*-if__name__=='__main_
标签: python结巴分词
本文链接地址:https://www.jiuchutong.com/biancheng/375517.html 转载请保留说明！
