[背景音乐] 翻译: RyukaSuu |审阅: 19waa Coursera Global Translator Community
开始前，我们先看有几种方式
来表示我们的文档
一种很简单的方式是
把文档表示成一个包含单词数量的向量
这是一个“词袋”（bag of words）的例子，
文档就像是一个装满单词的袋子
我们假设一个很简单的文章
里面仅包括了两句话
“Carlos 把这种运动叫futbol”
“Emily 把它称做 soccer”
词袋模型的做法是， 我们忽略单词的顺序
我们仅考虑每个单词在文章中出现的次数
这构成了我们的词频向量
这个代表文章中所有单词的向量
假设这个表示“Carlos”的索引
这个表示“Emily”的索引
这儿是“the”
这儿是“soccer” 和 “football”
还有什么？
还有“sport” 和 “calls” 两个单词
我们来看下，“Carlos”出现了一次
“the” 出现了两次， “Emily” 一次
“soccer” 一次， “calls” 两次
“sport” 两次， “football” 一次
好了，这就是我们的词频向量表示的
这个简单的文章
但是，如果要考虑单词的罕见性，这中简单表示就会有问题
比如，有个文章包含大量的常见词
如“the”、“player”、“field”和“goal”， 但是仅有
几个不常用词、但是却很重要的单词如“futbol” 和 “Messi （梅西）”
“Messi”出现在了Carlos正在读的那篇文章中
（这个单词的出现）对这篇文章的内容是一个重要、特别的提示
这个单词对Carlos感兴趣的内容的提示，要比其他
“player”、“field”对该运动的揭示性要强地多，也比
另外的很多事情要强。
所以，当我们进行距离计算时，如果使用
原始的词频向量，那些非常常见的单词
因为高词频量的缘故会左右距离计算
情况会变得更糟，如果文章中包括大量的“the”、“and”
“of”、“in”， 因为这些单纯基本上在衡量
文章相似性方面毫无价值可言
在距离计算时，
它们的出现会把其他重要单词淹没的
为了避免这个问题，一种替代做法是使用“TF-IDF”
也就是词频-逆文档频率法（Term Frequency Inverse Document Frequency）
这个概念我们在第一节课里面也提到过
在这儿再复习一下，这个概念在本节课中
要大量使用
TF-IDF对重要单词的表示通过下面方式实现
强调那些在“局部”出现次数多，
什么意思，就是说在在读文章中出现次数多
而在全部文章中出现次数少的单词
也就是说，在整个语料库中很少看到这些单词
所以，如果我们看到这两种情况的结合
那么则毫无疑问，这就是我们要选择的重要单词
量化表示为
首先，局部出现次数多
表示为词频
这只是简单的对单词出现的次数的统计
针对我们的在读文章或者查询文章
做法很简单，（用文章生成词袋），摇一摇
数数出现在其中的单词
这就是单词在该文章中出现的次数
然后，我们要算出这些单词在全部词汇中出现的次数
我们要看这个文章库，在那儿的每个文章
一种常见的计算逆文档频率的做法是
把所有文章的总数除以
包含指定单词的文章的总数加上1， 再对结果取对数
利用这个公式，我们才得以对
那些在很多很多文章中频繁出现的单词进行影响消减
现在我们有两个指标
在这两个指标之间要做一个折中
这就是词频-逆文档频率法的做法
简单的说，就是把两个指标相乘
再重复一下，采用词频-逆文档频率法来表示
文章，我们会对那些在在读文章中出现次数多、而在
全部文章中出现次数少的单词增加权重
对那些如“the”、“of”和其他
诸如此类那些，在在读文章中出现次数多、但同时
也在所有文章中出现次数多的单词降低权重
使用这种表示的文章，在进行距离计算时
那些对在读文章重要的单词
就会体现出跟多的重要性
[背景音乐] 翻译: RyukaSuu |审阅: 19waa Coursera Global Translator Community