过度采样是指算法学习稀有类别样本的频率较高，而欠采样则是相反的情况。从算法角度看，这两种方法产生的都是相同的结果。相比前一种方法，这种方法的优势是不忽略任何样本。

消极采样

第三种采样方法有些复杂，但也最为有效。既不过度采样也非欠采样，我们有目的地选择样本。虽说常见类别的样本数更多，但我们最关心的还是最困难的那些样本，比如最有可能被错误分类的样本。这样，我们就可以在训练期间定期评价模型并研究样本，以识别出那些最有可能被错误分类的样本。这让我们可以明智地选出算法更常学习的样本。

4.给损失加权

通过应用这部分所阐述的1–3类方法，我们从数据角度考虑了能够改善类别分配的所有可能。因而，我们现在就可以把注意力转移到算法本身。幸运的是，通过一些方法，我们可以在训练期间让算法的注意力更多关注那些稀有的类别。一个非常直接的办法，是增加稀有类别样本的损失权重。

稀有类别的损失权重更大

心得 III：理解黑箱模型

黑箱模型（来源：《辛普森一家》）

正如前文对预训练的描述，学术研究最重要的目的是达到或超越当前最先进的性能，无论采用哪种模型。但处理现实问题时，仅仅去设计性能最好的模型往往是不够的。

相反，更重要的是，能做到以下几点：

能够理解模型为什么以及如何会作出错误的预测；

能直观解释为什么当前模型的性能会比先前的更好；

确保模型不被欺骗。

在深度神经网络出现前，大多数模型解释起来都较为容易。举例来说：

线性模型：线性模型或回归模型可以给出各特征和预测之间的直接关系，这使该模型的决策机制解释起来较为直白。

决策树：决策树的魅力在于，只要顺着逻辑树就能理解决策的形成过程。通常，根节点代表最为重要的特征。虽说随机决策树解释起来更为困难，但树形结构总体还是相对易懂的。

不幸的是，深度神经网络的决策机制就很难理解了。它们是高度非线性的，参数的数量轻轻松松就能上亿。让人很难用简单的方式能解释清深度神经网络的决策细节。

对比图：经典机器学习 vs. 深度学习

随着深度学习迅速进入我们生活的方方面面——自动驾驶、医学诊断、制定金融决策等，如何解释这个黑箱就成为实际应用中一个很重要的挑战。大部分应用的直接成果能显著影响我们生命、财产与敏感信息。因此，算法的错误决策往往会伤财害命。

特斯拉汽车交通事故与一篇关于AI种族歧视的文章

不幸的是，这些失败可能并不仅仅是因为意外事故，还能由袭击者引发。为证实其中的相关性，研究者发现，只需在普通图像中添加简单的随机噪点，就能改变深度神经网络的分类结果，但人眼却并未看出图像的变化。同样，使用完全由人工生成的图像，深度神经网络仍能给出非常自信的预测结果。

在图像中加入少许随机噪点（左）或使用完全由人工生成的图像（右）都可以轻松骗过神经网络。

通常在现实中，你就想去弄清楚，为什么系统会无法作出它本应该作出的行为。

在Merantix，我们在非常严肃地对待这些问题，并相信它们在未来会变得更加重要，因为越来越多的深度神经网络肯定会被用在至关重要的实际应用上。