行健网络

?找回密码
?立即注册
查看: 4594|回复: 2
打印 上一主题 下一主题

怎样计算TF-IDF值

[复制链接]
跳转到指定楼层
楼主
发表于 2014-12-31 11:50:56 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

我们已经知道可以将文档切分为多维的词向量,也知道可以根据词的TF-IDf计算向量中每一维的权值。在特征权值计算——词频(TF)与逆文档频率(IDF)这篇帖子中所说的词频的算法是比较粗糙的,就是以单词在文档中出现的次数称之为词频。其实词频的算法根据不同的出发点而有不同的计算方法式,现总述如下:

1、最直接的方式,也就是以单词在文档中出现的次数作为词频。

[/quote]

2、上面的算法明显存在一个缺点,同一个词在长文档中的词频相比在短文档中的词频要高一些,但这并不意味着长文档与该词最相关,为了便于不同文档的比较,我们需要进行词频标准化。

[quote]


a为调节因子,过去的经验值是0.5,新的研究表明取值0.4效果更好,Tf也就是上述公式中的“该词在文章中出现的次数”,Max(Tf)就是上述公式中的“该文档出现最多的词的出现次数”

用单词的实际词频除以文档中单词最高词频,等于将绝对数值进行了规范化转换,公式的含义就转换为:同一个文档内单词之间的相对重要性。这样即使一个文档很长,单词词频普遍很高,但是除以文档最高词频,通过这种计算方式得出的数值比短文档来说并不一定就大。这样就剔除了文档长度的影响,长文档与短文档的词频因子就成为可比的了。

3、另一种词频因子的变体计算公式

[/quote]

best365官方即将词频数值Tf取log值来作为词频权值,公式中的数字1是为了平滑计算用的,如果Tf的值是1,也就是该词在文档中出现一次,当取对数(以10为底)后的值是0,如果没有平滑系数1,这样会被认为这个单词从来没有在这篇文档中出现过。为了避免了这种情形,采用加1的方式来进行平滑。之所以要取对数,是基于以下考虑的:即使一个单词出现了10次,也不应该在计算特征权值时,比出现1次的情况的权值大10倍。所以加入了log机制来抑制这种过大的差异。



逆文档频率计算公式

[quote]

N代表文档集合中文档的总数量,nk代表特征单词k在其中多少篇文档中出现,即文档频率。由公式可知,文档频率nk越高,则其IDF值越小,即越多的文档包含某个单词,那么其IDF权值越小。IDF反映了一个特征词在整个文档集合中的分布情况,可以用来衡量不同单词对文档的区分能力。特征词出现在其中的文档数目越多,IDF值越低,这个词区分不同文档的能力越差,反之,其值越高,则区分不同文档差异的能力超强。从另一侧面看,IDF也代表了单词带有的信息量的多少,其值越高,说明其信息含量越多,就越有价值。

这里要注意两个极端的情况:当nk=N时,这时的IDF值为0,那么该词应有任何区分文档差异能力。而当nk=0,这时的N/nk是没有意义的。所以要将分母加1。

TF-IDF的值为TF与IDF两者之积。

[quote][/quote]

从公司可以看出:某个特征词的权值与它的词频成正比,与它的文档频率(非逆文档频率)成反比

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
沙发
发表于 2018-2-18 12:42:08 | 只看该作者

无线电媒抓野鸡 捕鸟器 捉鸟机V信:weike88688

 
星源电子捕鸟器:微? ???信 weike88688
Q? ?? ?Q:1015661770是一种无线遥控播放器,也叫训鸟器,电煤鸟媒诱鸟器诱鸟机.引鸟机,电媒机,无线电媒,竹鸡电媒,野鸡电媒,画眉电媒,捕鸟器,抓鸟器,用播放播放媒音(野鸡 画眉 竹鸡 董鸡 水鸡 斑鸠 麻雀等)替代传统人工饲养的媒鸟叫声,电媒如何捕野鸡 电媒捕野鸡技巧中,以吸引其过来,下好套子或者网以达到捕捉的目的!以抓野鸡为例:方法 ①电媒+野鸡网②电媒+套子③找鸡路下套子,多下点④找沙窝下夹子⑤捉野鸡机器(山区不适用)根据狩猎场环境自身条件选择适合自己,③④成本低,中鸡率高,野鸡经常出没的地方有很多野鸡屎,和鸡屎一样!遥控距离远百米以上,方便在远处遥控操作!
微? ???信 weike88688
??Q? ???Q:1015661770
星源捕鸟器网址:
? ?? ?? ?? ?? ???
? ?? ?? ?? ?? ? style="widows: 2; text-transform: none; background-color: rgb(255,255,255); font-style: normal; text-indent: 0px; font-family: 'Microsoft Yahei', 'Helvetica Neue', Helvetica, Arial, 'Hiragino Sans GB', 'Heiti SC', 'WenQuanYi Micro Hei', sans-serif; word-wrap: break-word; white-space: normal; orphans: 2; letter-spacing: normal; color: rgb(68,68,68); font-size: 16px; font-weight: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; font-variant-ligatures: normal; font-variant-caps: normal"??>
 来源:麻利二铺
  正确的投资不应该是坚持长期持有吗?怎么是做“墙头草”呢?
  其实投资这件事上并没有绝对的对和错,说任何话,下任何结论都是有前提条件的,看到这个标题不要惊讶,我们先继续看下去。
  以前在微博上看过一个段子:
  “如果是你,你会娶现在的自己吗?”
  “想都不敢想,我哪有这么好的福气……”
  虽然是个段子,但应该是反映了大部分人在心理上对自己的肯定,就是俗称的“主角光环”,像我小时候还幻想着长大后要拯救世界呢。
  在投资方面,有个现象和这个段子很像:
  比如我持有某个公司的股票(基金),我就会有选择性地相信外界对这只股票(基金)正面的报道,只要有人也同样肯定这只股票(基金),我就会更加肯定自己。
  我还会去逛论坛看大家对这只股票(基金)的看法,如果遇到有两种不同的声音,我会选择相信和我立场一致的那一个,尽管这种判断并不是建立在详实的调研基础之上,但我就是有“迷之自信”。
  以上的“我”是代指,并不是说的我。
  这就是去年获得诺贝尔经济学奖的塞勒教授提出的“禀赋效应”理论。
  关于塞勒教授,我们以前文章有写过:
  他提出来的“禀赋效应”,指的就是:
  当个人一旦拥有某项物品,那么他对该物品价值的评价要比未拥有之前大大增加。
  禀赋效应对投资者产生的影响主要有两个方面:集中投资和错失良机。
  而减少这两方面影响的一个最佳方法就是:做一根墙头草,风吹哪边往哪倒。
下面我一一解释一下:
  1、不要把鸡蛋放到一个篮子里
  当然,现在也有一种观点是:在你本金很少的时候,应该集中投资在一两个标的,以搏取换得更大利润的可能性。
  我一开始就说了,投资这件事没有绝对的对和错,都是有前提的。
  这种观点也没错,集中投资的方法适合风险承受能力强,输得起的人,搏一搏单车变摩托嘛,万一搏输了,大不了从头再来。
  但是对于风险承受能力弱的投资者,就不应该集中投资去搏一个未知数。
  金融大鳄索罗斯就说过:冒险没有关系,但当承担风险时,不要赌上全部财产。
  巴菲特也有两个建议:第一条,保住本金最重要;第二条,永远不要忘记第一条。
  不管你之前持有的基金或股票表现多么牛逼,帮你赚了多少钱,都不应该把所有的本金都放在同一个投资标的上。
  最近的一个例子就是乐视网,曾经的创业板指标股,稍微有些动静就能让创业板指抖一抖的创业板蓝筹,如今被踢出创业板指。当年谁会想到风光无限的乐视网会变成今天这个样子呢?
  踩中一个乐视网,不知道要赔掉多少条底裤。
  (说个题外话:乐视网周三复牌,第一个跌停就有人买进去,周四第二个跌停还有人买进去,真的很好奇到底是哪种土豪在干这种反常识的事)
  所以永远不要迷信自己手里的好标的,永远不要一把梭,不要把鸡蛋放到一个篮子里。
  说到这,忍不住要配一张知名神图了,哈哈:
  2、顺势而为才不会错失良机
  墙头草,哪边得势哪边倒,用在投资上我认为一点都没错啊。
  去年有个炒股的朋友重仓的中小创,因为是老股民嘛,对15年的创业板行情仍然记忆犹新,一直抱着不放手,我劝说过好多次都不肯投降到白马蓝筹这边来,业绩自然很难看,他反倒认为他才是真正的价值投资者。
  当然,我一开始就说了投资没有绝对的对和错,你们别和我争论什么才是价值投资,没有意义。我知道中小创也有很多好公司,看好了一直拿住也没错。
  可如果我是识大势的,市场风格偏向那边我就偏向哪边,不管在哪种风格之下,我都遵守自己的投资纪律,估值低的买入,估值偏高卖掉,等到大势改变的时候,我再变回来,总比你坚守好几年的中小创要好得多吧。
  同样道理,如果你持有的基金变坏了,就应该果断换掉,你在不好的基金上浪费坚持的时间里,别人早就在好基金身上赚到好几倍了。
  其实有时候并不是你不愿意换,而是禀赋效应在作怪,你害怕失去这个原本属于你的东西,所以你并不能客观地判断持有它的价值。
  最后,总结一下:
  自信和坚持是一种很好的品格,但在投资上,我们要客观看待市场行情的变化和投资标的的好坏,不要让禀赋效应蒙蔽了自己的判断力。
  借用掌柜的常说的一句话:坚持是值得的,但只有好标的才值得坚持。
  不要和市场大势作对,不要和你的投资标的谈恋爱,做个顺势而为的“墙头草”才是正确的投资。
责任编辑:谢海平
板凳
发表于 2018-8-9 00:49:29 | 只看该作者
福建豪万行汽贸【加微信:CLE1688888】主营-新车-平行进口车-精品二手车-厂家两年免息-3厘利息-以旧换新-保险-免费评估-一站式售后服务。详情点击豪万行汽贸官网
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|网站地图|行健网络

GMT+8, 2019-10-16 11:14 , Processed in 0.074626 second(s), 18 queries .

Powered by Discuz! X3.2

? 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表