文章的核心其实是把残差网的所有层级之间的路径全部展开（Unravel），从而可以展示出残差网其实是很多变元（Variable）的路径，也就是由路径长短不一的网络群组成。在这样的启示下，我们很容易发现，即便删除残差网的一些节点，这仅仅会影响非常多路径中的一部分，但对整体路径群并没有特别大的影响。从这一点来说，残差网和传统的Feed-Forward网络有很大的不同。作者做了几组实验来展示这种变元路径对于残差网的影响。首先，删除残差网中的Residual Module，并且比较了相同的行为在VGG网络中的情况。效果是残差网的性能并没有得到根本的变化，而VGG的性能则大打折扣。进一步，作者删除了残差网中的多个Module，观察到误差进一步上升，从而发现模块的个数和性能的相关性，得出残差网有集成学习效应的结论。另外一个实验，则是作者任意更换模块的顺序，结果惊人，残差网居然对于部分的模块交换有鲁棒（Robust）效果。文章最后通过一些小的模拟实验，验证了关于Gradient的假设，并且展示了残差网中真正起作用的路径其实都相对较短。文章应该是打开了很多未来研究的话题，比如残差网如果并没有真正解决深度网络的“深”（Deep）的问题，而是多样性的路径带来了残差网性能上的提升，那么深度网络究竟需不需要很深的结构呢？能不能训练很多结构迥异的小网络，或者是动态生成这些小网络，然后依靠集成学习来达到残差网的效果呢？这些都是未来可以探讨的课题。

　　作者简介：洪亮劼，Etsy数据科学主管，前雅虎研究院高级经理。长期从事推荐系统、机器学习和人工智能的研究工作，在国际顶级会议上发表论文20余篇，长期担任多个国际著名会议及期刊的评审委员会成员和审稿人。

　　责编：何永灿，欢迎人工智能领域技术投稿、约稿、给文章纠错，请发送邮件至[email protected]

　　本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》

　　（本文来源CSDN，经授权转载，特此感谢！）

　　3月27日，新智元开源·生态AI技术峰会暨新智元2017创业大赛颁奖盛典隆重召开，包括“BAT”在内的中国主流 AI 公司、600多名行业精英齐聚，共同为2017中国人工智能的发展画上了浓墨重彩的一笔。

　　文字实录：

　　访问以下链接，回顾大会盛况：

阿里云栖社区：