基于ResNet的形式，我们提出的Inception-Like结构与Merge-and-Run结构都去除了极深的那一条线路，但是Inception-Like的组合数目比相同参数下的ResNet要少，因此我们认为Merge-and-Run形式比较符合我们的分析与观察。最终的实验结果也确实验证了这一想法，而且跟上面的实验观察相吻合：Inception-Like没有极深网络的影响，更加容易训练或收敛，比ResNet会稍好一点，与上述的Ensemble-7与Ensemble-8的实验结果相似。Merge-and-Run结构比Inception-Like的潜在网络数目多，最终结果也是比Inception-Like的表现要好。

　　ResNet, Inception-Like和Merge-and-Run在不同数据集上的对比

在ImageNet结果上也验证了我们前面的论述 (我们的方法用DFN-MR表示)：

　　我们提出的DFN-MR与ResNet在ImageNet数据集上的对比

　　五、总结

目前一个研究热点是在深度神经网络中引入一个新的维度：潜在的组成网络数目(Ensemble Size)。可以发现像ResNet、Highway、Inception等网络增加“深度”的同时，实际增加了这个网络数目。此外，我们的工作发现极深网络除了能增加潜在网络数目外，对整体性能的贡献并不是最大的。反而会影响其它的组成网络，导致最终的结果受到影响。我们按照“不减少组成网络数目”和“避免极深组成网络”这两个原则，设计出新的网络结构，发现在不同数据集上总是表现优异。后续工作可以围绕当前分析的内容，最优化提出的设计指标与原则，得到更容易训练性能更好的网络模型。

　　后记：

个人感觉深度学习方法有时候对工程技术要求较高，往往方法不work的原因不是idea的问题，而是实现层面上对于细节的处理有差异，这也对我们学生在科研道路的前进造成了很大的困难。

为了方便大家在该领域的研究，我们将提出的模型和该论文实验中用到代码完全开源，目前维护在GitHub上，项目地址为： https://github.com/zlmzju/fusenet；

希望我们的工作能给大家在Deep Learning的研究上带来一些新的思考和帮助，期待更多更深入的探索和研究工作。

　　作者简介

赵黎明

微软亚洲研究院网络多媒体(IM)组的一名实习生，现在就读于浙江大学的计算机科学与技术学院。在微软实习的半年多，跟随王井东研究员从事了深度神经网络的研究及其在计算机视觉领域的应用。

　　你也许还想看：

　　微软小冰进驻微软研究院微信啦！快去主页和她聊聊天吧。