为了分析 ResNet 带来的好处，我们简单地研究了 AlexNet。AlexNet 并没有那些特征映射，所以我们通过比较最上的 9 个从 AlexNet 的 conv4 到 conv5 激活输入，来发掘在不同层的单元。与超过 1 个输入相匹配的单元很少，并且只有很少像残差网络一样清晰的优化样本。

在图 8 中我们也直接对 conv1 中的 kernel 进行了可视化，并发现它们与 AlexNet 十分相像。

图 8: conv1 kenerl 值的像素图

5 后续工作

在项目的进行过程中，我们一些想法因为时间及计算能力的限制而未能实现。但这些思路为之后的探究指明了方向

1. 在每个残差模块（例如在 res2a）内，开奖，我们并没有测试 1×1、3×3 加 1×1 的卷积（模式）。这是个特别有趣的尝试，因为首个 1×1 的卷积实际上对通道（内信息）进行了降采样，接着 3×3 的卷积保持了通道的维度，而最后的 1×1 又的通道进行了升采样（如：1024 道 → 256 道 → 256 道 → 1024 道）。对这种情况下的分支的、附加的特性进行可视化应该是有一定价值的。

2. 在跨越 res边界的过程中（如从 res3c → res4c），通道的数目翻倍，并且我们使用了一个映射创建模块（projection building block）（如 res4a）。因为在滤镜之间没有明显的对应关系，我们并没有对这些边界的情况进行可视化。也就是说，在 res4f 中的通道 60 并非映射到 res5a 中的通道 60。对高级概念的演化进行可视化、在其中发现对应（关系）也许是个有趣的过程。在一些初步的探索中我们发现，在前序层（如 res4f）中发现的属性，常常会在下一层中（如 res5f）有不止一个的对应特性（共享多重 top-9 激活模块），并且这些对饮的特性会随后分化。

3. 在过去的几个月里，何恺明等人对残差网络的架构进行了多项改进 [4]。我们能够量化地来评价这些改进。

4. 在见识了这些基于残差捷径的改进效果之后，我们也可以尝试使用这种属性来拓展现有的网络（架构）。我们估计，也许可以使用一个预训练过的 7 层 AlexNet 架构，在训练层前面及后面，插入具有相同通道维度的 0-初始化残差模块然后继续训练。

　　©本文由机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]