过去的几年中,越来越多的团队一直在谈论 将机器学习系统与人类的表现进行比较 为什么这么说呢 我认为有两个主要原因 第一是随着深度学习的发展 机器学习算法的效果迅速提高 使它应用在很多新领域 算法和人相比也更有竞争力 第二,在某些领域 用机器学习系统解决问题的效率 比用人工来解决问题的效率要高 所以,人们自然要比较 机器学习和人类表现孰优孰劣 让我们来看看几个例子 我见过很多的机器学习任务是你要花大量时间解决一个问题 所以x轴代表时间,这可能是一些团队 几个月或甚至几年要解决的问题 机器学习算法接近人类的表现之前的进展相对较快 过了一阵子,该算法就会优于人类的表现 然后它进展和准确性的提升就减慢了 也许它不断的优化 超越人类级别后它仍然可以得到更好的效果 但是效果的增长速度会越来越慢 理想状态是能达到理论最佳水平 而随着时间推移,当你继续训练算法时 也许是越来越大模型和更多更大的数据 其效果逼近但从来不会超越一个理论值 这称为贝叶斯最优误差 所以贝叶斯最优误差就是最小的理论误差值 这就是用 从x到y的任何函数映射超过一定的准确度 例如对于语音识别,如果x是音频,一些音频就是 太多吵噪而无法判断它在讲什么 所以理论准确度可能不是 100% 或是猫识别 一些图像很模糊,它是不可能让 任何人或其他什么事物认出那幅画里有一只猫 所以,精度的完美水平可能不是100% 贝叶斯最优误差,贝叶斯最佳误差或贝叶斯错误 简而言之,是从x到y映射的最好的理论函数 那是永远无法超越的 所以应该不感奇怪,这个紫线不管你用多少年 你永远不会超越贝叶斯错误或贝叶斯最优误差 事实证明,进度往往相当快 直到你超越人类的表现 你若超越了人类的表现,有时反而慢下来 我认为有两个主要原因 为什么当你超越人类级别的表现时进展往往放慢 原因之一,人类级别的表现 在许多任务中都离贝叶斯最优误差不远 人非常擅长看着图像去分辨是否有一只猫 或收听音频并写出字幕 因此,可能算法超越人类级别的表现之后并没有 那么大的改善空间 第二个原因,只要你的表现还不如人类水平 那么实际上你可以用某些工具来提高 而当你超越了人类的水平后,就很难再有工具来提高了 就是这样子 对于人类擅长的任务 这包括看图片和分辨东西,或者听录音 或读语言,人类是很擅长这些自然任务 对于人类擅长的任务,只要你的机器学习算法 比人类更糟糕,你就可以从人类得到数据标记 这是你可以问人,问聪明的人,为你的例子标签 这样你可以有更多的数据以满足你的学习算法 我们下周会讲的是手动误差分析 只要人类仍表现优于任何算法,你可以 让人看看你的算法算错的例子,然后了解 为什么人可以做到,但该算法却搞错了 下个星期我们会看到这助于提高你的算法性能 你也可以得到更好的偏见分析和 方差,我们也会做一些谈论 但是只要你的算法仍然是差于人类 你有这些重要策略去优化你的算法 而一旦你的算法做的比人类优异 这三招将变的很难应用 这也许是另一个原因为什么对人类级别绩效比较 是有帮助的,尤其是用于人类做得好的任务 为什么机器学习算法是真的很出色于 试图复制人类擅长的任务并渐渐赶上 也或许略超过人类级别的绩效 尤其是,即使你知道什么是偏见和什么是方差 知道人类能如何胜任一项任务能助你更好地理解 你应该如何尝试减少偏见和减少方差 下一个视频我会告诉你一个这样的例子