位置: 编程技术 - 正文

TF-IDF算法解析与Python实现方法详解(tf-idf例题)

编辑:rootadmin

推荐整理分享TF-IDF算法解析与Python实现方法详解(tf-idf例题),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:tf-idf例题,tf-idf算法和应用场景,tf-idf计算,tf-idf例题,tf-idf算法和应用场景,tf-idf算法和应用场景,tf-idf算法和应用场景,tf-idf算法和应用场景,内容如对您有帮助,希望把文章链接给更多的朋友!

TF-IDF(term frequency?inverse document frequency)是一种用于信息检索(information retrieval)与文本挖掘(text mining)的常用加权技术。比较容易理解的一个应用场景是当我们手头有一些文章时,我们希望计算机能够自动地进行关键词提取。而TF-IDF就是可以帮我们完成这项任务的一种统计方法。它能够用于评估一个词语对于一个文集或一个语料库中的其中一份文档的重要程度。

在一份给定的文件里,词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(分子一般小于分母 区别于IDF),以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。)

  逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。

  某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。

TFIDF的主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。TFIDF实际上是:TF * IDF,TF词频(Term Frequency),IDF反文档频率(Inverse Document Frequency)。TF表示词条在文档d中出现的频率(另一说:TF词频(Term Frequency)指的是某一个给定的词语在该文件中出现的次数)。IDF的主要思想是:如果包含词条t的文档越少,也就是n越小,IDF越大,则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m,而其它类包含t的文档总数为k,显然所有包含t的文档数n=m+k,当m大的时候,n也大,按照IDF公式得到的IDF的值会小,就说明该词条t类别区分能力不强。(另一说:IDF反文档频率(Inverse Document Frequency)是指果包含词条的文档越少,IDF越大,则说明词条具有很好的类别区分能力。)但是实际上,如果一个词条在一个类的文档中频繁出现,则说明该词条能够很好代表这个类的文本的特征,这样的词条应该给它们赋予较高的权重,并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处.

为了演示在Python中实现TF-IDF的方法,一些基于自然语言处理的预处理过程也会在本文中出现。如果你对NLTK和Scikit-Learn两个库还很陌生可以参考如下文章:

Python编程使用NLTK进行自然语言处理详解

Python自然语言处理之词干,词形与最大匹配算法代码详解

必要的预处理过程

首先,我们给出需要引用的各种包,以及用作处理对象的三段文本。

TF-IDF的基本思想是:词语的重要性与它在文件中出现的次数成正比,但同时会随着它在语料库中出现的频率成反比下降。 但无论如何,统计每个单词在文档中出现的次数是必要的操作。所以说,TF-IDF也是一种基于 bag-of-word 的方法。

首先我们来做分词,其中比较值得注意的地方是我们设法剔除了其中的标点符号(显然,标点符号不应该成为最终的关键词)。

下面的代码用于测试上述分词结果,Counter() 函数用于统计每个单词出现的次数。

执行上述代码后可以得到如下结果,我们输出了其中出现次数最多的个词。

显然,像 the, a, and 这些词尽管出现的次数很多,但是它们与文档所表述的主题是无关的,所以我们还要去除“词袋”中的“停词”(stop words),代码如下:

同样,我们来测试一下上述代码的执行效果。

从下面的输出结果你会发现,之前那些缺乏实际意义的 the, a, and 等词已经被过滤掉了。

但这个结果还是不太理想,像 films, film, filmed 其实都可以看出是 film,而不应该把每个词型都分别进行统计。这时就需要要用到我们在前面文章中曾经介绍过的 Stemming 方法。代码如下:

类似地,我们输出计数排在前的词汇(以及它们出现的次数):

TF-IDF算法解析与Python实现方法详解(tf-idf例题)

上述代码执行结果如下:

至此,我们就完成了基本的预处理过程。

TF-IDF的算法原理

预处理过程中,我们已经把停词都过滤掉了。如果只考虑剩下的有实际意义的词,前我们已经讲过,显然词频(TF,Term Frequency)较高的词之于一篇文章来说可能是更为重要的词(也就是潜在的关键词)。但这样又会遇到了另一个问题,我们可能发现在上面例子中,madefortv、california、includ 都出现了2次(madefortv其实是原文中的made-for-TV,因为我们所选分词法的缘故,它被当做是一个词来看待),但这显然并不意味着“作为关键词,它们的重要性是等同的”。

因为”includ”是很常见的词(注意 includ 是 include 的词干)。相比之下,california 可能并不那么常见。如果这两个词在一篇文章的出现次数一样多,我们有理由认为,california 重要程度要大于 include ,也就是说,在关键词排序上面,california 应该排在 include 的前面。

于是,我们需要一个重要性权值调整参数,来衡量一个词是不是常见词。如果某个词比较少见,但是它在某篇文章中多次出现,那么它很可能就反映了这篇文章的特性,它就更有可能揭示这篇文字的话题所在。这个权重调整参数就是“逆文档频率”(IDF,Inverse Document Frequency),它的大小与一个词的常见程度成反比。

知道了 TF 和 IDF 以后,将这两个值相乘,就得到了一个词的TF-IDF值。某个词对文章的重要性越高,它的TF-IDF值就越大。如果用公式来表示,则对于某个特定文件中的词语 ti 而言,它的 TF 可以表示为:

其中 ni,j是该词在文件 dj中出现的次数,而分母则是文件 dj 中所有词汇出现的次数总和。如果用更直白的表达是来描述就是,

某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数即可:

其中,|D| 是语料库中的文件总数。 |{j:ti∈dj}| 表示包含词语 ti 的文件数目(即 ni,j≠0 的文件数目)。如果该词语不在语料库中,就会导致分母为零,因此一般情况下使用 1+|{j:ti∈dj}|。同样,如果用更直白的语言表示就是

最后,便可以来计算 TF-IDF(t)=TF(t)×IDF(t)。下面的代码实现了计算TF-IDF值的功能。

再给出一段测试代码:

输出结果如下:

利用Scikit-Learn实现的TF-IDF

因为 TF-IDF 在文本数据挖掘时十分常用,所以在Python的机器学习包中也提供了内置的TF-IDF实现。主要使用的函数就是TfidfVectorizer(),来看一个简单的例子。

最终的结果是一个 4×9 矩阵。每行表示一个文档,每列表示该文档中的每个词的评分。如果某个词没有出现在该文档中,则相应位置就为 0 。数字 9 表示语料库里词汇表中一共有 9 个(不同的)词。例如,你可以看到在文档1中,并没有出现 and,所以矩阵第一行第一列的值为 0 。单词 first 只在文档1中出现过,所以第一行中 first 这个词的权重较高。而 document 和 this 在 3 个文档中出现过,所以它们的权重较低。而 the 在 4 个文档中出现过,所以它的权重最低。

最后需要说明的是,由于函数 TfidfVectorizer() 有很多参数,我们这里仅仅采用了默认的形式,所以输出的结果可能与采用前面介绍的(最基本最原始的)算法所得出之结果有所差异(但数量的大小关系并不会改变)。有兴趣的读者可以参考这里来了解更多关于在Scikit-Learn中执行 TF-IDF 算法的细节。

总结

标签: tf-idf例题

本文链接地址:https://www.jiuchutong.com/biancheng/372273.html 转载请保留说明!

上一篇:Python自然语言处理之词干,词形与最大匹配算法代码详解(Python自然语言处理PDF)

下一篇:python实现报表自动化详解(python自动报表)

  • 子公司之间股权转让
  • 电子记账凭证需要划线吗
  • 进项税额可以在买东西吗
  • 购销行为的帐务处理如何做?
  • 材料溢价分录
  • 视同销售存货账务处理方法是什么?
  • 当期软件产品可抵扣进项税额 留抵
  • 发票复印件怎么打印
  • 哪些情况下不就地分摊缴纳企业所得税?
  • 如何根据原始凭证填制记账凭证
  • 财务费用为负数怎么结转
  • 企业的不征税收入用于支出所形成
  • 建材销售公司需要交哪些税
  • 评估的房产如何入账
  • 软件开发公司研发主管绩效考核
  • 非贸易企业代扣代缴增值税和附加税如何做账?
  • window11调节屏幕亮度
  • 在王者荣耀里怎么删除好友
  • 小规模纳税人增值税税收优惠政策
  • 年末利润分录
  • 简易征收办法征收一般纳税人
  • 简易计税 科目
  • 虚拟机中怎么安装ubuntu
  • 企业车间承包合同的法律效力
  • 什么叫即期结汇
  • php冒泡法排序
  • wordpress使用
  • 其他业务支出的二级科目有哪些
  • 冰山从哪里来
  • 员工每月补助表怎么做
  • php事务特性
  • php 输出
  • PHP isset()与empty()的使用区别详解
  • 微信php开发教程
  • 用友财务软件使用视频教程
  • rep p
  • python采集器
  • vue组件元素设置滚动条高度
  • 前端数据导出为excel
  • 表单验证方法一般有哪几种
  • php常用的打印函数
  • 纳税检查调整销售额什么意思
  • 一般纳税人增值税怎么做账务处理
  • 应收账款资产负债表负数
  • js方案
  • 电子产品报废清理是否缴纳教育附加税
  • 企业出口证明
  • 新政府会计制度下,属于资产类科目的是
  • 员工回家探亲的文案
  • 金蝶软件做账流程图片
  • 受托方代收代缴的消费税应计入什么科目
  • mysql数据库连接方式
  • 季度所得税申报怎么弥补以前年度亏损
  • 出差的住宿费能抵扣吗
  • 供货商少开发票如何记账?
  • 购买东西进项税额怎么算
  • 新企业建账
  • win8安全中心在哪
  • linux修改系统日期命令
  • win7安装flash提示连接失败
  • win7系统打开我的电脑一闪
  • compress与uncompress参数使用
  • 微软输入法拼音
  • linux分区顺序详解
  • lua struct
  • nodejs常用api
  • 关闭iebrowser
  • AndroidAnnotations 自定义控件 ant编译 找不到类
  • css模糊滤镜
  • python下读取公私钥做加解密实例详解
  • python爬虫系统
  • js正则匹配数字
  • Binary XML file line #7: Error inflating class fragment
  • 城市配套费需要什么资料
  • 各地市的税务局有哪些
  • 车辆购置税怎样做账
  • 机打发票教程视频
  • 火灾损失进项税额怎么处理
  • 北京买车如何摇号
  • 财务公司怎么做
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设