位置: 编程技术 - 正文

Python编程使用NLTK进行自然语言处理详解(python的nltk)

编辑:rootadmin

推荐整理分享Python编程使用NLTK进行自然语言处理详解(python的nltk),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python编程n!,python\n编程\t很,python\n\t,python\n编程\t很,python nltk,python\n\t,python nltk,python\n编程\t很,内容如对您有帮助,希望把文章链接给更多的朋友!

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱(NLTK,NaturalLanguageToolkit)是一个基于Python语言的类库,它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究和应用时,恰当利用NLTK中提供的函数可以大幅度地提高效率。本文就将通过一些实例来向读者介绍NLTK的使用。

NLTK

NaturalLanguageToolkit,自然语言处理工具包,在NLP领域中,最常使用的一个Python库。

NLTK是一个开源的项目,包含:Python模块,数据集和教程,用于NLP的研究和开发 。NLTK由Steven Bird和Edward Loper在宾夕法尼亚大学计算机和信息科学系开发。NLTK包括图形演示和示例数据。其提供的教程解释了工具包支持的语言处理任务背后的基本概念。

开发环境:我所使用的Python版本是最新的3.5.1,NLTK版本是3.2。Python的安装不在本文的讨论范围内,我们略去不表。你可以从NLTK的官网上 Launcher会弹出下面这个界面,建议你选择安装所有的Packages,以免去日后一而再、再而三的进行安装,也为你的后续开发提供一个稳定的环境。某些包的Status显示“out of date”,你可以不必理会,它基本不影响你的使用与开发。

既然你已经安装成功,我们来小试牛刀一下。当然本文涉及的主要任务都是自然语言处理中最常用,最基础的pre-processing过程,结合机器学习的高级应用我们会在后续文章中再进行介绍。

1、SentencesSegment(分句)

Python编程使用NLTK进行自然语言处理详解(python的nltk)

也就是说我们手头有一段文本,我们希望把它分成一个一个的句子。此时可以使用NLTK中的punktsentencesegmenter。来看示例代码

由此,我们便把一段话成功分句了。

2、SentencesSegment(分词)

接下来我们要把每个句话再切割成逐个单词。最简单的方法是使用NLTK包中的WordPuncttokenizer。来看示例代码

我们的分词任务仍然完成的很好。除了WordPunct tokenizer之外,NLTK中还提供有另外三个分词方法,TreebankWordTokenizer,PunktWordTokenizer和WhitespaceTokenizer,而且他们的用法与WordPunct tokenizer也类似。然而,显然我们并不满足于此。对于比较复杂的词型,WordPunct tokenizer往往并不胜任。此时我们需要借助正则表达式的强大能力来完成分词任务,此时我所使用的函数是regexp_tokenize()。来看下面这段话

目前市面上可以参考的在Python下进行自然语言处理的书籍是由Steven Bird、Ewan Klein、Edward Loper编写的《Python 自然语言处理》。但是该书的编写时间距今已有近十年的时间,由于软件包更新等语言,在新环境下进行开发时,书中的某些代码并不能很正常的运行。最后,我们举一个书中代码out of date的例子(对上面这就话进行分词),并给出相应的解决办法。首先来看书中的一段节录

我们预期得到输出应该是这样的

但是我们实际得到的输出却是这样的(注意我们所使用的NLTK版本)

会出现这样的问题是由于nltk.internals.compile_regexp_to_noncapturing()在V3.1版本的NLTK中已经被抛弃(尽管在更早的版本中它仍然可以运行),为此我们把之前定义的pattern稍作修改

再次执行前面的语句,便会得到

以上便是我们对NLTK这个自然语言处理工具包的初步探索,日后主页君将结合机器学习中的方法再来探讨一些更为深入的应用。最后,我想说《Python 自然语言处理》仍然是当前非常值得推荐的一本讲述利用NLTK和Python进行自然语言处理技术的非常值得推荐的书籍。

总结

标签: python的nltk

本文链接地址:https://www.jiuchutong.com/biancheng/372269.html 转载请保留说明!

上一篇:高质量Python代码编写的5个优化技巧(高效的python)

下一篇:python内置函数:lambda、map、filter简单介绍(python内置函数open()的参数用来指定打开文本文件)

  • 自己的医院
  • 库存股增加为什么资产减少
  • 怎么免费用别人的网
  • 个人开票的抬头怎么写
  • 其他债权投资是资产还是负债
  • 财务报表和信息的区别
  • 专家评审费属于劳务费吗
  • 资本公积转为实收资本会计等式
  • 应收贷方余额怎么处理
  • 期末调汇的会计科目
  • 财务报告分析主要内容
  • 无息银行承兑汇票
  • 政府扶持资金是什么意思
  • 预付账款金额过大的原因
  • 应交印花税会计分录
  • 转账支票怎么进账到个人账户
  • 增值税专用发票几个点
  • 无形资产租赁税率多少
  • 工商年报填错了能改吗
  • 收到运费发票是进项还是销项
  • 酒店自开农副产品收购发票需要缴税吗
  • 出口退税最新规定2021
  • 筹建期的餐饮费会计分录
  • 公益性捐赠税前扣除资格认定程序
  • 固定资产占资产总额比例
  • 小型微利企业免税政策
  • 公司账款无法收回扣款合法吗
  • quickres.exe - quickres是什么进程 作用是什么
  • 使用最新版本的浏览器可以防御黑客
  • 电脑legacy是什么意思
  • win10打开第二个桌面快捷键
  • vuecli报错
  • cpqa1000.exe是安全进程吗 cpqa1000进程有什么作用
  • msmpeng.exe是什么程序
  • php实现文件下载功能
  • php转换字符编码
  • 福利费需要缴税吗
  • php购物车实现流程
  • php数组排列组合
  • Access-Control-Allow-Origin 翻译
  • 出差餐补贴标准
  • 计算机视觉的未来发展方向有哪些
  • php自定义函数实现计算整数的四次方
  • 以厂房入股会计怎么做账
  • 活动委托书范本
  • 增值税小规模纳税人
  • 管理费用怎么入账
  • 入库时的会计分录
  • 个税年度汇算清缴总结
  • 出口关税的计算公式
  • mysql创建存储过程sql语句
  • 改革性补贴是否纳入团费基数
  • 个体户开票超额
  • 季度报表利润表本期金额怎么填
  • 商品购进核算
  • 一般纳税人购进普票怎么做分录
  • 用现金券付房租违法吗
  • 购买固定资产进项税现金流量
  • 建筑企业外经证需要准备什么资料
  • 购置固定资产的预算是财务预算吗
  • 装修费摊销怎么计算公式
  • sqlserver数据库脚本
  • win8.1 开机进桌面
  • pages怎么标记
  • redhat图形化界面启动
  • 虚拟机增加磁盘选择物理磁盘分区
  • macos high sierra深色模式
  • linux中w命令详解
  • windows7没有声音怎么调
  • 苹果系统安装系统
  • 用centos搭建服务器的详细教程
  • 新买的笔记本电脑需要做什么
  • win7网络正常但是所有浏览器网页打不开
  • grid表格
  • python 网络编程培训
  • linux shell 进程
  • 财税刘毅
  • 浙江职称评审网站官网
  • 白酒消费税应纳税额
  • 工资个人所得税法
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设