我们用 MNIST 训练集训练了 LeNet-5 网络，在 MNIST 测试集上得到了 98.94％ 的正确识别率。然后，我们将这个 LeNet-5 网络应用于如图 5 所示的灰度反转的测试图像。准确率下降为 37.36％。接下来，我们将 conv1 中的所有过滤权重改为负值，同时保持网络的其余部分不变。经过微修改的 LeNet-5 网络对灰度反转测试集的正确识别率为 98.94％，而原始测试集的准确率下降为 37.36％。

可以看到，改变第一个卷积层中的所有过滤权重将得到对称的结果。该结果表明，引入激活函数将消除负相关关系，若我们在学习灰度反转图像的特征时不仅保留学习原图像的锚向量同时加入灰度翻转图像的锚向量，则对两个测试集均能够达到高识别效果。

级联层的优势是什么？

通常来讲，随着 CNN 层数的深入，核函数会试图基于所有之前核函数的输出来构建自己的抽象特征。所以相比浅层，深层可以捕捉全局语义和高级特征。在 RECOS 模型中，CNN 利用与测量相似度类似的一系列非线性变换来逐层聚类相似的输入数据。输出层预测所有可能决策（如，对象的类）的似然值。训练样本含有图像与其决策标签之间的关系，并能够帮助 CNN 生成更适合的锚向量（从而形成更好的聚类），开奖，最终将聚类数据与决策标签联系起来。

上图显示了深度网络的有效性，实验细节如下：

我们用一个例子来说明这一点。首先，我们通过在 MNIST 数据集的原始手写数字上随机添加 10 个不同的背景来修改 MNIST 的训练集和测试集。对上面的三行图像，每行最左边的列显示 3 个数字图像输入，中间列是分别来自卷积层和 ReLU 层的 6 个谱图像（spectral image）输出，最右边两列是分别来自卷积层和 ReLU 层的 16 个谱图像输出。由于背景的多样性，难以为第一层找到的良好的锚向量矩阵。然而，这些图像的背景在空间域中是不一致的，而它们的前景数字是一致的。

对于不同的变形背景，CNN 成功地捕捉到了代表性模式。值得注意的是，第一层含有很多冗余和无关的信息，通过在级联层运用特征提取，CNN 学习到了全局样式而不是局部细节。也就是说，对于输入向量 x，RECOS 变换产生一组 K 个非负相关值作为 K 维度的输出向量。这种方式实现了逐层重复聚类。最后，训练图像的标签帮助 CNN 在不同背景的图像中找到相同的模式。

从上面的分析可以看出，卷积层模型对于自动选择特征是很有用的。它能在没有人工干预的情况下测量输入数据的相似性并将其聚类到不同区域。

那么完全连接层的作用是什么？

通常 CNN 被分解为两个子网络：特征提取（FE）子网络和决策（DM）子网络。FE 子网络由多个卷积层组成，而 DM 子网络由几个完全连接层组成。简而言之，FE 子网络通过一系列 RECOS 变换以形成用于聚类的新表征。DM 子网络将数据表征与决策标签联系起来，它的作用与 MLP 的分类作用类似。

到这里我们可以得出结论，CNN 比计算机视觉中经典的机器学习算法要好得多。因为 CNN 可以自动提取特征并且基于这些特征学习分类输入数据，而随机森林（RF）和支持向量机（SVM）则非常依赖于特征工程，而这种特征工程往往很难操作。

结论

总而言之，RECOS 模型用信号分析的角度为我们剖析了卷积神经网络。从这个角度来看，我们可以看到激活函数和深度架构的有效性。然而，以下几个方面仍需要重点研究：网络架构设计、弱监督学习、对错误标签的鲁棒性、数据集偏差和过拟合问题等。

　　本文为机器之心原创，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]