位置: 编程技术 - 正文

浅谈python jieba分词模块的基本用法(python jieba用法)

编辑:rootadmin

推荐整理分享浅谈python jieba分词模块的基本用法(python jieba用法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python中jieba分词,python中jieba分词,pythonjieba分词,python的jieba,python jieba用法,python中文怎么通过jieba分词计算数量,python的jieba,python的jieba,内容如对您有帮助,希望把文章链接给更多的朋友!

jieba(结巴)是一个强大的分词库,完美支持中文分词,本文对其基本用法做一个简要总结。

特点

支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。 支持繁体分词 支持自定义词典 MIT 授权协议

安装jieba

简单用法

结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式,下面对这三种模式分别举例介绍:

精确模式

可见分词结果返回的是一个生成器(这对大数据量数据的分词尤为重要)。

全模式

可见全模式就是把文本分成尽可能多的词。

搜索引擎模式

获取词性

每个词都有其词性,比如名词、动词、代词等,结巴分词的结果也可以带上每个词的词性,要用到jieba.posseg,举例如下:

可以看到成功获取到每个词的词性,这对于我们对分词结果做进一步处理很有帮助,比如只想获取分词结果列表中的名词,那么就可以这样过滤:

至于词性的每个字母分别表示什么词性,jieba分词的结果可能有哪些词性,就要去查阅词性对照表了,本文结尾附了一份从网上搜到的词性对照表,想了解更详细的词性分类信息,可以到网上搜索"结巴分词词性对照"。

并行分词

在文本数据量非常大的时候,为了提高分词效率,开启并行分词就很有必要了。jieba支持并行分词,基于python自带的multiprocessing模块,但要注意的是在Windows环境下不支持。

用法:

举例:开启并行分词模式对三体全集文本进行分词

可以看到三体全集的数据量还是非常大的,有多万字节的长度。

获取出现频率Top n的词

还是以上面的三体全集文本为例,假如想要获取分词结果中出现频率前的词列表,可以这样获取:

可以看到结果中'rn'居然是出现频率最高的词,还有'一个'、'没有'、'这个'等这种我们并不想要的无实际意义的词,那么就可以根据前面说的词性来进行过滤,这个以后细讲。

使用用户字典提高分词准确性

不使用用户字典的分词结果:

欧阳,建国,是,创新,办,主任,也,是,欢聚,时代,公司,云,计算,方面,的,专家

使用用户字典的分词结果:

欧阳建国,是,创新办,主任,也,是,欢聚时代,公司,云计算,方面,的,专家

可以看出使用用户字典后分词准确性大大提高。

注:其中user_dict.txt的内容如下:

欧阳建国 5

创新办 5 i

欢聚时代 5

云计算 5

用户字典每行一个词,格式为:

词语 词频 词性

其中词频是一个数字,词性为自定义的词性,要注意的是词频数字和空格都要是半角的。

附:结巴分词词性对照表(按词性英文首字母排序)

形容词(1个一类,4个二类)

a 形容词

ad 副形词

an 名形词

ag 形容词性语素

al 形容词性惯用语

区别词(1个一类,2个二类)

b 区别词

bl 区别词性惯用语

连词(1个一类,1个二类)

c 连词

cc 并列连词

副词(1个一类)

d 副词

叹词(1个一类)

e 叹词

方位词(1个一类)

f 方位词

前缀(1个一类)

h 前缀

后缀(1个一类)

k 后缀

数词(1个一类,1个二类)

m 数词

mq 数量词

名词 (1个一类,7个二类,5个三类)

名词分为以下子类:

n 名词

nr 人名

nr1 汉语姓氏

nr2 汉语名字

nrj 日语人名

nrf 音译人名

ns 地名

nsf 音译地名

nt 机构团体名

nz 其它专名

nl 名词性惯用语

浅谈python jieba分词模块的基本用法(python jieba用法)

ng 名词性语素

拟声词(1个一类)

o 拟声词

介词(1个一类,2个二类)

p 介词

pba 介词“把”

pbei 介词“被”

量词(1个一类,2个二类)

q 量词

qv 动量词

qt 时量词

代词(1个一类,4个二类,6个三类)

r 代词

rr 人称代词

rz 指示代词

rzt 时间指示代词

rzs 处所指示代词

rzv 谓词性指示代词

ry 疑问代词

ryt 时间疑问代词

rys 处所疑问代词

ryv 谓词性疑问代词

rg 代词性语素

处所词(1个一类)

s 处所词

时间词(1个一类,1个二类)

t 时间词

tg 时间词性语素

助词(1个一类,个二类)

u 助词

uzhe 着

ule 了 喽

uguo 过

ude1 的 底

ude2 地

ude3 得

usuo 所

udeng 等 等等 云云

uyy 一样 一般 似的 般

udh 的话

uls 来讲 来说 而言 说来

uzhi 之

ulian 连 (“连小学生都会”)

动词(1个一类,9个二类)

v 动词

vd 副动词

vn 名动词

vshi 动词“是”

vyou 动词“有”

vf 趋向动词

vx 形式动词

vi 不及物动词(内动词)

vl 动词性惯用语

vg 动词性语素

标点符号(1个一类,个二类)

w 标点符号

wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <

wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >

wyz 左引号,全角:“ ‘ 『

wyy 右引号,全角:” ' 』

wj 句号,全角:。

ww 问号,全角:? 半角:&#;

wt 叹号,全角:! 半角:!

wd 逗号,全角:, 半角:,

wf 分号,全角:; 半角: ;

wn 顿号,全角:、

wm 冒号,全角:: 半角: :

ws 省略号,全角:…… …

wp 破折号,全角:—— -- ——- 半角:--- ----

wb 百分号千分号,全角:% ‰ 半角:%

wh 单位符号,全角:¥ $ £ ° ℃ 半角:$

字符串(1个一类,2个二类)

x 字符串

xx 非语素字

xu 网址URL

语气词(1个一类)

y 语气词(delete yg)

状态词(1个一类)

z 状态词

标签: python jieba用法

本文链接地址:https://www.jiuchutong.com/biancheng/372202.html 转载请保留说明!

上一篇:基于python中pygame模块的Linux下安装过程(详解)(pygal python)

下一篇:速记Python布尔值(python中布尔运算)

  • 建筑业购买材料计入什么科目
  • 减免的企业所得税计入什么科目
  • 临时税务登记的小规模纳税人 个人所得税如何申报
  • 企业所得税季度申报时间
  • 工会经费支付福利方案
  • 网上申领发票收到后需要怎么操作
  • 加盟要给加盟费
  • 研发费用辅助账谁来做
  • 所得税申报更正申报怎么报?
  • 员工补充医疗保险报销范围
  • 企业筹建期间开办费计入什么科目
  • 工程分包开具发票怎么开
  • 非公益捐赠如何调整应纳税所得额?
  • 定额发票有效期是多长时间?你知道吗?
  • 议价收购股份的账务处理
  • 收回应收账款资产为什么不变
  • 企业所得税季初人数
  • 融资租赁纳税人是指
  • 企业有哪些项目名称
  • 营改增后城建税和教育费附加包含在哪里
  • 企业所得税季度申报表A类
  • 税负率的销售收入是什么
  • PHP:session_commit()的用法_Session函数
  • vue使用render
  • 绿化园艺
  • 工程预付款抵扣是什么意思
  • 出售低值易耗品的成本
  • 受托方代扣代缴的消费税计入什么科目
  • gym版本和render函数
  • vue框架是什么样子的
  • set nu命令
  • 增值税期末留抵退税
  • 物流企业会计核算的具体内容包括
  • 股本金退出要交税吗?
  • 企业合并的会计处理方法
  • 财务费用包括什么利息
  • 初学者应该看什么书
  • 购买固定资产发生的支出是资本性支出
  • 公司签发银行承兑汇票的行为属于什么
  • 金蝶利润表为什么只有累计数没有本月数
  • 确认应付职工薪酬怎么算
  • 接受土地使用权的会计分录
  • 债券溢价什么意思
  • 资金账簿的计税依据
  • 开具增值税专用发票含税吗
  • 工程材料增值税抵扣比例
  • 建筑行业项目经理的岗位职责
  • 固定资产报废需要税务备案吗
  • 建筑工程购买的搬运设备升降平台分录
  • 如何对会计感兴趣
  • 税控盘网上抄报税的步骤
  • 简述什么是实收资本
  • win7 32位旗舰版电脑城下载
  • windows server 2008 r2有哪些特点
  • linux系统对硬件要求高吗
  • cmd命令怎么进入d盘文件夹
  • windows route metric
  • linux 更新系统
  • linux 下MySQL服务器的启动与停止
  • win10h2版本
  • inc是什么软件
  • Win10年度更新(RS1)怎么样升级?升级方法一览
  • centos7 本地yum
  • saproxy.exe - saproxy是什么进程 有什么用
  • wind10应用商店
  • win7浏览器怎么升级到最新版
  • 安卓专业图片处理软件
  • cocos creator内存性能优化
  • Unity3D游戏开发基础
  • python windows gui
  • 微信和qq时间格式不一样
  • android drawable 圆角锯齿
  • jquery二级导航栏
  • js给图片加水印
  • javascript 基础篇1 什么是js 建立第一个js程序
  • 在shell中获取脚本命令行参数的方法和区别
  • 入户走访时宣传内容
  • 百望电子发票查询下载
  • 税务ca证书过期
  • 保险公司的人可以查到买保险的人都买了什么保险吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设