P7：机器学习策略：在改进一个人工智能系统时，你往往会有大量的想法，你会怎么做？好的策略能帮助你节省好几个月的努力时间。

比如，我们以语音识别为例。如果我们的目标是识别出语音，我们可以把我们手上的原语音数据分割成：60% 训练集、20% 开发集和 20% 测试集：

其中，训练集（training set）是我们用来训练模型的，开发集（dev set）指的是在开发过程中用于调参、验证（validation）等步骤的数据集（保证不被模型提前学习到），测试集（test set）很显然就是指测试时所使用的数据集。

有了这三个数据集，我们就可以得出三个误差值（分别为）：

其中，人类水平的误差（human level error）是人类自己处理这类问题的误差值；训练集误差（training set error）是指在训练集上跑出来的误差值；开发集误差（dev set error）是指用开发集跑出来的误差值。（测试集误差后面会说）

然而我们关注的并不是这个误差值本身，而是它们互相之间的差距。人类误差与训练集误差之间的差距称为「avoidable bias」（可避免的偏差，可简称为偏差）。之所以说「可避免的（avoidable）」，是因为这部分误差可以通过进一步的学习/模型调整优化来避免。而训练集和开发集之间的差距称为「variance（方差）」，它是因为跑了不同的数据而导致的误差率变化（比如跑在见过的数据集上和没见过的数据集上的误差率之差）。这两种偏差合在一起，就是机器学习领域著名的 bias-variance trade-off（偏差-方差权衡）。

那么，同样是这三组数据，如果你遇到的情况是：

（左边是 1%, 2%, 6% ; 右边是 1%, 6%, 10%）

左边的情况是：训练集误差率与人类自己的误差率只相差 1%，然而训练集误差跟测试集误差却差了很多；这就意味着你的模型在新的（没见过）的数据上表现很不好，换句话说，你的模型过拟合（overfitting）了。

而对于右边的情况，如果你的训练集误差跟人类误差值相比就已经差了很多，而测试集误差则更加地多，那么，洗洗睡吧，这模型没戏。

吴恩达博士表示，很多企业都不遵循他上文提到的这个洞察误差值区别的配方（recipe）。如果大家都能够科学地量化并且重视起这个误差差值的话，在工业应用开发上就会省事很多。

于是，他给出了这个洞察偏差值的配方的具体操作步骤：

P9：机器学习的基本配方：如果训练误差高（偏差），就使用更大的模型、训练更长的时间、采用新的模型架构；如果开发误差高（方差），就使用更多数据、正则化、新的模型架构。

首先，判断训练集误差率是否过高？如果是的话，说明你遇到了 bias 危机，你可以（OR 的逻辑关系）：

1. 提高你的模型规模；

2. 加长你的模型训练时间；

3. 启用新的模型构架。

如果训练集误差率不很高，j2直播，那么，开发集误差是否很高？如果是的话，说明你遇到了 variance 危机，你可能需要（OR 的逻辑关系）：

1. 拿更多的数据；

2. 正则化；

3. 启用新模型。

数据合成（Data Synthesis）

什么是数据合成？举个例子，在语音识别领域，用清晰的声音记录来做训练集是不给力的。因为在应用场景中，不会有那么安静的背景环境。所以需要人为添加一些噪音。这些噪音在人类的眼里没什么大问题，但是对机器学习算法来说，却是个大大的考验。

类似的例子还有：

P10：自动数据合成的例子。OCR：将文本插入随机背景中；语音识别：将清晰的音频混入不同的背景噪声中；NLP：语法纠错：合成随机的语法错误。有时候，一些在人眼看来很好的合成数据实际上对机器学习算法来说是信息不足的，而且只涵盖了实际数据分布的一小部分。比如说，开奖，从视频游戏中提取出来的汽车图像。