为了获得每个最大激活单元的前 9 个图像，我们使用 ImageNet 的验证集。在所有空间维度以及数据集的所有图像中，具有最高激活值的单位才能被可视化。这意味着给定过滤器的可视化是特定空间单位的可视化（例如，在信道的特征图中的位置）。

图 2：Res2a 特征的可视化（随机选择）。从左到右，从上到下：信道分别为 12、79、150 和 210。对于每个信道，左边的图是前 9 个图像块。右边的图是相应的有导向的反向传播的可视化。大的灰色边界是由于不同的接受区域（receptive field）大小（根据边距/padding）。

图 3：res2b 和 res2c 特征的可视化。与图 2 有相同的过滤器。

为了可视化该最大激活单元，我们将图像传送到该单元所在的层，同时将该层中的所有其它激活单元归零，然后使用有导向的反向传播向后传递该层。当可视化前 9 个图像时，我们选择单元的接受区域对应的图像块（patch）。

3 结果及分析

在图 2 及图 3 中，我们对 2a、2b、2c 的构建模块（res2a、res2b、res2c）的通道进行了可视化。滤镜 12 看起来能够识别复杂的线性模型，在 res2b 中的判别力有所提升，在 res2c 中的判别力进一步有轻微增加。滤镜 79 看起来并不能带来相当程度的改变，这与残差模块是特征映射预条件产物的直觉相符。滤镜 150 表现出了优化：在 res2a 中，它能够识别出轻微弯曲的黑色线条，不过在 res2b 及 res2c 中它开始识别环形及更为弯曲的线条。滤镜 120 似乎并不能在 res2a 中识别任何东西，但是突然就能在 res2b 及 res2c 中识别平行的线条。

在图 4 中，我们展示了一个对于特征优化的有趣的案例。在 res3a 中，它识别出了一个单独的光点。在 res3b 中，它识别出了在周边景物下的光点。res3c 中则更进一步。

图 4: 通道 400，在 res3a、res3b 及 res3c 中进行了可视化（从左到右，从上到下）。并非随机选择。

图 5: res5a 可视化（随机的）。从左到右、从上到下分别是：滤镜 7、149、1068 及 1620。放大以看到去卷积的细节。

图 6: res5b 及 res5c 的特性。与图 5 中使用了相同的滤镜。放大以看到去卷积的细节。

在图 5 及图 6 中我们随机的选择了四个滤镜进行可视化，它们全都表现出了优化的效果。滤镜 7 似乎能够识别穿着西装的人——因为在初始的 top-9 激活中有两个不是穿着西装的人，但是在 res5c 中全都是。在检查去卷积可视化后，我们证实了，这个特征并非必要地专注于识别婚礼场景，而它似乎专注于西服领子。滤镜 149 能够识别一种马赛克花纹，并具有小而明显的改进。滤镜 1069 似乎能够识别桁架结构，在一开始的时候还有香水瓶在它的 top-9 激活中，不过最后被卫星天线接收盘及吊车主导。滤镜 1620 一开始在带角的动物上激活，在 res5c 中这些激活被优化了。

在图 7 中，我们也选择了另一个关于物体识别优化的例子。在 res5a 中，通道 1660 在它的 top-0 激活中有一个双人自行车。在 res5b 中，相同通道被 6 个双人自行车最大化地激活。在 res5c——最后的拥有相同特性大小的残差模块中，所有的 top-9 输入都是双人自行车。我们猜测在分枝中的滤镜（如 res5b_branch2c 及 res5c_branch2c）能专注于特定的、能够改进特征发现的子特性。我们会看到，res5b_branch2c（通道 1660）锁定了有两个座位的自行车，而 res5c_branch2c 则在条幅上被激活。

图 7: 通道 1660 的在 res5a、res5b 及 res5c 的 top-9 激活图像（与中间层 res5b_branch2c 及 res5c_branch2c 一起）。在双人自行车上的激活（程度）成功提高。

4 额外成果