[背景音乐] 翻译: RyukaSuu |审阅: 19waa Coursera Global Translator Community
我们前面讨论了用误差率和正确率来评判一个分类器
当然 很重要的是 我们需要理解
从分类器中得到的正确率和误差率 ( 的确切含义 )
我经常深思 在具体的情况中
是否存在着 好的误差率 或者 好的正确率
举例来说 一个很常见的错误是
我们会问 我的这个分类器到底有多好
当你构建一个分类器的时候
头一个拿来比较的基准是 优于随机猜测的结果
举例来说 如果你有一个二元分类问题
就像这个例子中 判断一个句子情绪为正面还是负面
那么随机乱猜也能给你50%的正确率 所以你最好使得分类的正确率超过50%
如果有 k 种可能分类结果 比如说 3 种
你随机猜测的正确率就是33%
4种的话随机猜测的正确率是25% k种的话是 1/k
所以最起码 分类器结果要比随机猜测好
如果这都达不到 那你的分类方法就毫无意义
事实上 就算比随机猜测好 你也还是需要深思
就算你的分类器看起来做得不错 这种不错是否"有意义" ?
举个例子 假如你有个垃圾邮件预测器 它的正确率有90%
你能拿它出去吹牛吗?
它够棒了吗?
这个 还得看情况
如果是垃圾邮件分类器 这个正确率不行 因为2010年数据显示
世界上所有发送的电子邮件中 有90%都是垃圾邮件
所以我只要猜说每封邮件都是垃圾邮件 那么我的正确率是多少?
90%
这个问题就是所谓的 大多数类别预测
它只是把所有情况都预测成 最常出现的那个类别
在这种类别不平衡的情况下
这么做的正确率可以很高
因为某一类比其它类出现频率高的多
就像垃圾邮件比好邮件出现频率高的多一样
所以 你要特别小心 在考虑自己的正确率够不够好的时候
一定要注意有没有不平衡类别
而且当然 这么做 ( 永远猜最有可能的那类 ) 肯定比随机猜测准确率高
只要你知道大多数情况是哪一类
所以你永远需要深挖你的问题
思考你得到的预测
到底你得到的正确率 对你要回答的问题来说 有没有意义
所以 要问问自己 有不平衡类别的问题吗?
跟随机猜测这个基准相比 结果如何
跟只预测大多数类别比呢 跟其它更高级的标准比呢
最重要的是 考虑你的应用
问你自己 多高的准确率会让我的用户足够开心
比如说 在垃圾邮件过滤器里 如果你的正确率不够好
会有重要邮件被扔进垃圾邮件文件夹里 那很可能是个非常糟糕的事情
[背景音乐] 翻译: RyukaSuu |审阅: 19waa Coursera Global Translator Community