[背景音乐]
翻译: RyukaSuu |审阅: 19waa
Coursera Global Translator Community 现在 我们已经讨论了初始调度
将我们从推荐系统中学到的 模型和调度作为你的网页能够查询得到的一项服务 但是 调度进程要做的还需要更多 生产过程的机器学习也是 我们有了调度部分 但是还需要对模型的管理 还需要评价 以及度量指标的监测数据 那么我们就来讲一讲后面三项 这三项实际上讲的是讲我们学过的模型在实际中的运用 这三项实际上讲的是讲我们学过的模型在实际中的运用 不仅是批量离线处理 还有在实际中面向用户 我们获取更多的信息 并用这些信息来调整、调度和 更新新模型 回到我们批处理和即时处理的渠道中 在反馈部分 用户是否购买了被推荐的产品 被反馈到即时数据中 历史数据中 这些反馈对我们非常有用 我们会利用反馈返回并学习新的模型 比如说 现在我们有了更多的历史数据 我可能学习了第二个模型 我们将之称为推荐者模型2 这个名字应该要更好一点 我想要从产量开始改进模型 并且去探究模型2真的比模型1好吗? 哪张更好？ 我怎么来探究这个问题? 这些是在生产管理模型中的一些关键问题 因此 我们会探究如果有需要的话何时更新到模型2 以及 如何在不同模型之间选择 这事关监测真实用户的产量模型 以及 对那些使用模式的理解 监测模型的关键部分是生产中的评价模型 这实际上将我们的预测和度量结合在了一起 这实际上将我们的预测和度量结合在了一起 系统中用户的即时行为是什么呢? 这里你需要向调度模型陈述的问题是 他们从用户处收集什么数据? 不仅是你最初拥有的数据 还有你从实时交互中 收集的数据 用户购买与否 以及他们会采用什么什么来度量那些交互是否够好 你是否得到了你所期待的正确响应 你搭建的系统是否真的在为你工作? 现在 如果我们回到流程线上 你会想到 我在收集数据 并且 我在用训练模型的方式来度量 举个例子 我们在谈论系统时 讲过一种这样的度量方式 我们讲了最小总和平方误差 现在 这是生产评价的正确度量方式吗? 这是个优化离线模型的不错的度量方式 但是 在生产中 你真正关心的是人们是否购买产品 或者 这个机器再模型能否使用户更多地使用网站 模型是否帮助人们更好地使用智能手机或者 可穿戴设备 或者 任何其他以机器学习为支撑的技术产品 所以 总和平方误差 或者 那些矩阵实际上是关于离线模型的优化 以及 搞清楚模型好不好 以及是否可能改进 现在我们讲一下在线矩阵 也就是谁购买的使用矩阵 是如何改变的 这是生意的底线 它可以用来判断旧模型是否优于创立的这个新模型 我们稍微聊一下过程是什么样的 这里的问题是 我应该用学习到的新模型更新旧的吗 他们能够获得新的数据吗? 这里存在很多问题 我为何应该更新? 我为何要将之前所做的改为新的? 并且这必须与时俱进 伴随着新产品的进入和用户品味的变化 像chewy giraffe这样曾经一时流行的东西如今已经过时 不会再有人想要 所以 我们会改变或者是更新产品 这就是我们必须做和必须说的
这就是是我们为何要更新 但是我们什么时候更新 什么时候我们可以说 是时候把旧模型换掉使用新的了 这关乎追寻真实世界的统计 而与直觉无关 这听起来是恰当的时机 或者告诉某人谁没有在看数据 也可能是某种直觉性的商业分析 实际上都跟数据有关 所以关于追踪 我们测量的那些矩阵 那些定性或定量的统计 告诉我们 时迁事异 该更新模型了 这是我们更新模型时会发生的 它将我们在链式模型中的那些离线度量方法结合起来 但是我们需要的是能够捕捉的在线的度量方式 让我们说说线上度量 如何用线上度量选择模型 也就是AB测试的概念 比如说你有两个模型 模型1和模型2 我想知道哪个更好 我该给系统哪一个 我能做的是 我有一群人 叫做A 这些人来自特定的地理位置 有些人来自美国 用模型1 然后 有另一群人来自不同的地域 比如说加拿大用模型2 你可以看到模型之间的表现 来捕捉一些衡量标准 比如说模型1 做的更好 噢不 做的更差 他仅仅有10%的点击率 或者说CTR 意味着只有10%的时间 人们在购买产品 而模型2 有着30%的时间 人们在购买商品 所以说点击率是30% 你完成了测试 你说 恩我测试过了 我收集了足够多的样本 我准备用模型2 而不是模型1 但是还是有很多问题 和警告 我们之前也说过 AB测试 决定我们是否要更换模型 你手机了多少数据 该怎么做 是一件很复杂的事情 它需要很多思考 我们会在毕业设计 再提到这个 但是这真的是你需要思考的东西 考虑到不同的模型 模型1 和模型2 简单来说 你有着很多数据科学家会根据 他们自己的想法采用模型 问题是他们如何跟踪自己的模型 你知道什么数据用来训练不同的模型 他们如何跟踪并且保持模型的表现 哪个模型表现较好 哪一个不能很好表现 是因为偶然因素呢 还是因为数据的确存在的某些性质 你如何监测仪表盘 如何写下报告? 所以说 这是我们要做的 当机器学习所做的 和它带来的不同 这一切都可以变得复杂 所以说 对你来说如何思考 如何运用机器学习的算法 很重要 如何写下自己的方法也很重要 如何选择特征 如何跟踪模型 保证模型还能够运行良好 能够提供你系统所想要的文件 [背景音乐]
翻译: RyukaSuu |审阅: 19waa
Coursera Global Translator Community