位置: 编程技术 - 正文

浅谈python jieba分词模块的基本用法(python jieba用法)

编辑:rootadmin

推荐整理分享浅谈python jieba分词模块的基本用法(python jieba用法),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python中jieba分词,python中jieba分词,pythonjieba分词,python的jieba,python jieba用法,python中文怎么通过jieba分词计算数量,python的jieba,python的jieba,内容如对您有帮助,希望把文章链接给更多的朋友!

jieba(结巴)是一个强大的分词库,完美支持中文分词,本文对其基本用法做一个简要总结。

特点

支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。 支持繁体分词 支持自定义词典 MIT 授权协议

安装jieba

简单用法

结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式,下面对这三种模式分别举例介绍:

精确模式

可见分词结果返回的是一个生成器(这对大数据量数据的分词尤为重要)。

全模式

可见全模式就是把文本分成尽可能多的词。

搜索引擎模式

获取词性

每个词都有其词性,比如名词、动词、代词等,结巴分词的结果也可以带上每个词的词性,要用到jieba.posseg,举例如下:

可以看到成功获取到每个词的词性,这对于我们对分词结果做进一步处理很有帮助,比如只想获取分词结果列表中的名词,那么就可以这样过滤:

至于词性的每个字母分别表示什么词性,jieba分词的结果可能有哪些词性,就要去查阅词性对照表了,本文结尾附了一份从网上搜到的词性对照表,想了解更详细的词性分类信息,可以到网上搜索"结巴分词词性对照"。

并行分词

在文本数据量非常大的时候,为了提高分词效率,开启并行分词就很有必要了。jieba支持并行分词,基于python自带的multiprocessing模块,但要注意的是在Windows环境下不支持。

用法:

举例:开启并行分词模式对三体全集文本进行分词

可以看到三体全集的数据量还是非常大的,有多万字节的长度。

获取出现频率Top n的词

还是以上面的三体全集文本为例,假如想要获取分词结果中出现频率前的词列表,可以这样获取:

可以看到结果中'rn'居然是出现频率最高的词,还有'一个'、'没有'、'这个'等这种我们并不想要的无实际意义的词,那么就可以根据前面说的词性来进行过滤,这个以后细讲。

使用用户字典提高分词准确性

不使用用户字典的分词结果:

欧阳,建国,是,创新,办,主任,也,是,欢聚,时代,公司,云,计算,方面,的,专家

使用用户字典的分词结果:

欧阳建国,是,创新办,主任,也,是,欢聚时代,公司,云计算,方面,的,专家

可以看出使用用户字典后分词准确性大大提高。

注:其中user_dict.txt的内容如下:

欧阳建国 5

创新办 5 i

欢聚时代 5

云计算 5

用户字典每行一个词,格式为:

词语 词频 词性

其中词频是一个数字,词性为自定义的词性,要注意的是词频数字和空格都要是半角的。

附:结巴分词词性对照表(按词性英文首字母排序)

形容词(1个一类,4个二类)

a 形容词

ad 副形词

an 名形词

ag 形容词性语素

al 形容词性惯用语

区别词(1个一类,2个二类)

b 区别词

bl 区别词性惯用语

连词(1个一类,1个二类)

c 连词

cc 并列连词

副词(1个一类)

d 副词

叹词(1个一类)

e 叹词

方位词(1个一类)

f 方位词

前缀(1个一类)

h 前缀

后缀(1个一类)

k 后缀

数词(1个一类,1个二类)

m 数词

mq 数量词

名词 (1个一类,7个二类,5个三类)

名词分为以下子类:

n 名词

nr 人名

nr1 汉语姓氏

nr2 汉语名字

nrj 日语人名

nrf 音译人名

ns 地名

nsf 音译地名

nt 机构团体名

nz 其它专名

nl 名词性惯用语

浅谈python jieba分词模块的基本用法(python jieba用法)

ng 名词性语素

拟声词(1个一类)

o 拟声词

介词(1个一类,2个二类)

p 介词

pba 介词“把”

pbei 介词“被”

量词(1个一类,2个二类)

q 量词

qv 动量词

qt 时量词

代词(1个一类,4个二类,6个三类)

r 代词

rr 人称代词

rz 指示代词

rzt 时间指示代词

rzs 处所指示代词

rzv 谓词性指示代词

ry 疑问代词

ryt 时间疑问代词

rys 处所疑问代词

ryv 谓词性疑问代词

rg 代词性语素

处所词(1个一类)

s 处所词

时间词(1个一类,1个二类)

t 时间词

tg 时间词性语素

助词(1个一类,个二类)

u 助词

uzhe 着

ule 了 喽

uguo 过

ude1 的 底

ude2 地

ude3 得

usuo 所

udeng 等 等等 云云

uyy 一样 一般 似的 般

udh 的话

uls 来讲 来说 而言 说来

uzhi 之

ulian 连 (“连小学生都会”)

动词(1个一类,9个二类)

v 动词

vd 副动词

vn 名动词

vshi 动词“是”

vyou 动词“有”

vf 趋向动词

vx 形式动词

vi 不及物动词(内动词)

vl 动词性惯用语

vg 动词性语素

标点符号(1个一类,个二类)

w 标点符号

wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <

wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >

wyz 左引号,全角:“ ‘ 『

wyy 右引号,全角:” ' 』

wj 句号,全角:。

ww 问号,全角:? 半角:&#;

wt 叹号,全角:! 半角:!

wd 逗号,全角:, 半角:,

wf 分号,全角:; 半角: ;

wn 顿号,全角:、

wm 冒号,全角:: 半角: :

ws 省略号,全角:…… …

wp 破折号,全角:—— -- ——- 半角:--- ----

wb 百分号千分号,全角:% ‰ 半角:%

wh 单位符号,全角:¥ $ £ ° ℃ 半角:$

字符串(1个一类,2个二类)

x 字符串

xx 非语素字

xu 网址URL

语气词(1个一类)

y 语气词(delete yg)

状态词(1个一类)

z 状态词

标签: python jieba用法

本文链接地址:https://www.jiuchutong.com/biancheng/372202.html 转载请保留说明!

上一篇:基于python中pygame模块的Linux下安装过程(详解)(pygal python)

下一篇:速记Python布尔值(python中布尔运算)

  • 税务机关如何处理公司多交税
  • 奖金算不算工资薪金所得
  • 企业利息收入需要交哪些税
  • 删除申报记录什么意思
  • 广告发布需要什么手续
  • 全年一次性奖金税率表
  • 所得税汇算清缴分录怎么做
  • 企业所得税预缴计算方法
  • 非居民企业转让财产所得税
  • 会计凭证的保管期限为多少
  • 收到进项发票如何记账
  • 协会会费支出计什么科目
  • 住房公积金证书插上为什么登不进去
  • 收到采购商品
  • 广告位租赁交印花税吗
  • 个人应纳税所得额 税率
  • 房地产行业零税率发票
  • 清包工程增值税税率
  • 小规模纳税人的好处
  • 电子发票隔月可以报销吗
  • 人防设施建设费
  • 增值税减免税如何处理
  • 员工误餐费的会计分录
  • 没有发票的怎么报账
  • 收到的劳务费发票可以抵扣吗
  • 个体工商户公转私用途写什么
  • 欠款利息收入如何入账
  • 工资薪金与劳务报酬的区别有哪些
  • macos连接wifi无法上网
  • linux如何放大字体
  • 微软手机
  • 以商业汇票抵付应付账款会计分录
  • 贸易公司的采购
  • 暂估入库的税务分录
  • 几款常用的表单设计软件
  • 微信php开发教程
  • 联表更新数据
  • yolov3数据集格式
  • php的session和cookie实现登录
  • 销售产品消费税计入什么科目
  • 毫米波雷达的硬件构成
  • php手机验证码验证
  • 固定资产折完了怎么办
  • mongodb索引使用正则表达式
  • mongodb视频教程
  • 收到退回的企业所得税分录
  • 企业的主要经营指标有哪些
  • 购买火车票报销,实际没乘车能查到嘛
  • sqlserver怎么把数据库导出来
  • 个人所得税专项附加扣除标准一览表
  • 物品数量怎么填写
  • 材料帐怎么记
  • 收到股东的投资款现金流量表
  • 购销合同上没有金额,怎么写比较好
  • 业务招待费文件
  • 白条入账会计处理
  • 公司车辆交强险怎么网上买
  • 购买原材料无法准确划分用途的进项税额怎么抵扣
  • 借主营业务成本贷应付账款
  • 打车费用会计分录
  • 管理费用贷方有余额怎么处理
  • 货款已付,货未收到分录
  • 累计折旧用什么账页格式
  • 消费税的科目设置在哪里
  • mysql5.7压缩包
  • windows8使用教程
  • Win7旗舰版系统安装
  • win10预览版21277
  • Win10预览版怎么变回正式版
  • linux 下VSFTP 530 Permission denied错误的解决方法
  • vim显示中文乱码
  • linux如何kill进程
  • win10更新总失败
  • unity性能优化工具
  • div如何排版
  • 开发板io口在哪
  • jQuery Ajax 上传文件处理方式介绍(推荐)
  • imageview tint
  • 国家税务局总局咨询平台
  • 经营数据分析需要学什么
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设