MIT 计算科学与人工智能实验室日前发文，阐述了一种最新的深度视觉表征的量化表示——网络解剖（Network Dissection），作者是David Bau、 Bolei Zhou、 Aditya Khosla、 Aude Oliva、Antonio Torralba，该实验室科研人员公开了论文，atv直播，并开源代码，机器人圈将其编译如下。

　　文章头图显示的是三个最先进的网络架构（Resnet-152、GoogleNet、VGG-16）的图片，当进行训练以对场所的图像进行分类（Places365）时，从三个最先进的网络架构显示出选定的单元。许多单独的单元响应特定的高级概念（对象分割），没有直接表示在训练集（场景分类）中。

　　为什么我们研究可表示单元

　　可表示单元很有趣，因为它们暗示了深度网络可能不是完全不透明的黑匣子。

　　然而，表示的发现到现在仅仅是一个提示：对于是否或如何表示一个单元是所谓的“解开表示（distentangled representation）”，atv，目前还没有完整的理解。

　　什么是“网络解剖”

　　我们的论文研究了三个问题：

　　1、什么是解开的表征，它的因素是如何量化和检测的？

　　2、可表示的隐藏单元是否反映特征空间的特殊对准，还是说表示是一个妄想？

　　3、在最先进的训练中，哪些条件会导致更多或更少牵连的表现？

　　网络解剖是我们用于量化深层CNN中各个单元的可表示性的方法（即我们对问题1的回答）。它的工作原理是，通过测量单元响应与从被称为Broden的广泛、密集的分割数据集中绘制的一组概念之间进行对准，来进行工作。

　　表示是妄想吗？

　　网络解剖表明可表示的概念是表示空间的异常取向。它们的出现证明网络正在分解中间概念（回答问题2）。

　　表示性随着基础的逐渐变化而逐渐下降。矛盾的是，人们普遍认为，表示性在表示空间中不是各向同性，网络似乎会轴对齐分解。

　　什么会影响可表示性？

　　我们看问题3：什么情况导致更高或更低的可表示性？

　　ResNet > VGG >GoogLeNet > AlexNet，在主要训练任务方面，我们发现 Places365 > Places205 > ImageNet.

　　在一系列自监督的任务中，表示性差异很大，没有一种方法可以通过ImageNet或Places进行监督。

　　源代码可以重现我们的可表示性基准，并使你测量并找到方法，来提高深度卷积神经网络的可表示性。

　　网络解剖结果

　　★AlexNet模型基准

　　AlexNet-ImageNet

　　AlexNet-Hybrid

　　AlexNet-Places205

　　AlexNet-Places365

　　AlexNet-random

　　★深度架构

　　GoogLeNet-ImageNet

　　GoogLeNet-Places205

　　GoogLeNet-Places365

　　VGG-Hybrid

　　VGG-ImageNet

　　VGG-Places205

　　VGG-Places365

　　ResNet152-ImageNet

　　ResNet152-Places365

　　★宽架构

　　AlexNet-Places365-GAP-Wide

　　AlexNet-Places365-GAPplus

　　★多种训练条件

　　AlexNet-Places205-BN

　　AlexNet-Places205-nodropout

　　AlexNet-Places205-repeat1

　　AlexNet-Places205-repeat2

　　AlexNet-Places205-repeat3

　　AlexNet-Places205-repeat4

　　★表示基础的变化

　　AlexNet-Places205-rotated-020

　　AlexNet-Places205-rotated-040

　　AlexNet-Places205-rotated-060

　　AlexNet-Places205-rotated-080

　　AlexNet-Places205-rotated-100

　　★自监督模式

　　audio

　　colorization

　　context

　　crosschannel

　　egomotion

　　frameorder

　　moving

　　objectcentric

　　puzzle

　　tracking

　　★迭代训练

　　AlexNet-Places205-iter-1

　　AlexNet-Places205-iter-2

　　AlexNet-Places205-iter-4

　　AlexNet-Places205-iter-9

　　AlexNet-Places205-iter-20

　　AlexNet-Places205-iter-44

　　AlexNet-Places205-iter-99

　　AlexNet-Places205-iter-223

　　AlexNet-Places205-iter-492

　　AlexNet-Places205-iter-1108

　　AlexNet-Places205-iter-2446

　　AlexNet-Places205-iter-5509

　　AlexNet-Places205-iter-12164

　　AlexNet-Places205-iter-27396

　　AlexNet-Places205-iter-60491

　　AlexNet-Places205-iter-136238

　　AlexNet-Places205-iter-300818

　　AlexNet-Places205-iter-600818

　　AlexNet-Places205-iter-1200818

　　AlexNet-Places205-iter-2400818

　　机器人圈附上了源代码及论文地址，欢迎圈友学习研究：

　　GitHub源代码：

　　https://github.com/CSAILVision/NetDissect

　　论文地址：