行健网络

?找回密码
?立即注册
查看: 5496|回复: 1
打印 上一主题 下一主题

特征权值计算——词频(TF)与逆文档频率(IDF)

[复制链接]
跳转到指定楼层
楼主
发表于 2014-12-30 12:38:48 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

为了能够让大家彻底搞明白文档的TF-IDF,我们撇开抽象说理,从一个实例出发来阐述词频与逆文档频率这一概念。现假设有一篇长文档,它的标题就是《中国渔业》,现在要我们用计算机提取它的关键词(Automatic Keyphrase extraction),完全不加以人工干预,想一想,我们应该怎样做?

一个很容易想到的办法,就是在这篇文档中查找出现次数最多的词,一篇文档中出现次数最多的词,往往能够反映文档的主题,对!这个就是今天我们所要阐述的第一个概念“词频(TF)”:即一个单词在文档中出现的次数,TF值越大越能代表文档所反映的内容。好,现在我们来统计下《中国渔业》这篇文档的词频。

结果或许你想到了,出现最多的词肯定是“的”、“是”、“在”——这一类最常用的词,它们对于我们的工作毫无用处,是必须过滤掉的词,我们称之为“停用词(stop words)”。

best365官方假设,我们已经全部把它们过滤掉了,只考虑剩下有实际意义的词,但是我们又可能遇到另外一个问题:“中国”、“渔业”这两个关键词一样多,那是不是这两个词的重要性是一样的呢?显然不是,相对来说“中国”比较常见,而“渔业”却不那么常见。如果这两个词出现的次数一样多,有理由认为“渔业”的重要程度大于“中国”,也就是关键词排序方面“渔业”应该排在“中国”的前面。

是不是感觉到了单靠词频是不能完成我们的工作的。我们需要一个重要的调整性系数来衡量一个词是不常见词:如果某个词很少见,但在文档中出现的次数越多,这个词就越能反映这篇文档的主题。

综合两者来说:在词频的基础上,要对每个词分配“重要性”权重,最常见的词,如“的”、“是”、“在”等,预以停用,较常用的词分配较少的权重,较少见的词分配较大的权重,这个权重就是今天要阐述的第二个概念“逆文档频率(Inverse Document Frequance)”。它的大小与一个词常见程度成反比。

有些人要问了,怎样知道哪些是常见词,哪些是较少见词。这个就需要语料库了,也就是一个文档集合,将集合中所有单篇文档分词并去掉重得的词,得到一个词库。要统计某个词是否常见,只要计算包含某个关键词文档的数目与文档集合总数的比例不就知道某个词是否常见了(申明下,这并不是逆文档频率计算方法)。

知道了“词频(TF)”与“逆文档频率(IDF)”之后,将这两个值相乘,就得到这个词的TF-IDF值。某个词对这篇文档的重要越高,那么它的TF-IDF值越大。所以,只要对关键词依据它的TF-IDF值降序排序,根据关键词的提取个数,排在最前面的几个关键词就是我们所要的结果。

上面所讲述的词频的算法是比较粗糙的,基于不同的出发点,词频因子是有不同的算法的。另外到底怎样逆文档频率?请看下一篇:怎样计算词的TF-IDF

沙发
发表于 2018-3-16 23:30:31 | 只看该作者

№麻辣小海鲜的做法▲『电话微信13733587625』△※ 陈

[img][/img]
麻辣小海鲜【137★3358★7625】
(百度一下陈师傅麻辣小海鲜培训工坊)致力于各种海鲜菜系的开发和研究陈师傅麻辣小海鲜在家庭的厨房即可经营操作,不需要厨师,也不需要店面,省去了高昂的房租,不在为房东打工,省去了所有运营费用以及繁杂的各项税收与各种证照流程,是真正的无风险超低成本超高效率经营方式,投入小、收益大,并提供时下最流行的30多种麻辣私厨菜品的详细制作教程,简单易学、一目了然,零基础即可快速掌握各种小海鲜菜品的制作!随时技术指导,直至完全成功!包教包会!
[img][/img]
? ? 陈师傅捞汁系列,爆炒酱料系列,辣卤系列核心技术培训常年招学员!历经多年心血,经过反复多次改良而形成的麻辣小海鲜系列已经被所有微商,淘宝,所认可!风靡全国,如麻辣醉蟹钳独特口味火爆朋友圈! 您如果想学习这套麻辣小海鲜技术,? ? 麻辣小海鲜私房美食外卖、做麻辣小海鲜灌装零食、做麻辣小海鲜私厨实体店都可以!经营方式灵活,可以和大排档,小饭店,KTV,歌吧合作,菜市场,路口摆摊等等方式!
? ???加盟代理,不如自己掌握核心技术创品牌!财富之路由此开启!
陈师傅麻辣小海鲜培训
[img][/img]
[img][/img]
 
 ,【麻辣小海鲜秘方配方制作】『13733587625』沉香收藏的八大标准和技巧;
[img][/img]
[img][/img]
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|网站地图|行健网络

GMT+8, 2019-10-16 11:14 , Processed in 0.064528 second(s), 17 queries .

Powered by Discuz! X3.2

? 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表