译者：刘小芹、徐红、李静怡

　　：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　简历投递：j[email protected]

　　HR 微信：13552313024

　　新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。

　　加盟新智元，与人工智能业界领袖携手改变世界。

　　【新智元导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。【进入新智元公众号，在对话框输入“1127”下载全文】

　　（文／Alfredo Canziani 等）深度神经网络自出现以来，已经成为计算机视觉领域一项举足轻重的技术。其中，ImageNet 图像分类竞赛极大地推动着这项新技术的发展。精确计算水平取得了稳步的增长，但颇具吸引力的模型应用尚未得到合理的利用。

　　本文将综合分析实际应用中的几项重要指标：准确度、内存占用、参数、操作时间、操作次数、推理时间、功耗，并得出了以下几项主要研究结论：

功耗与批量大小、体系结构无关；

准确度与推理时间呈双曲线关系；

能量限制是最大可达准确度和模式复杂度的上限；

操作次数可以有效评估推理时间。

　　ImageNet 历届冠军架构评析指标

　　自从2012年的ImageNet 竞赛上，Alexnet取得突破发展，成为第一个应用深度神经网络的应用，其他关于DNN的更复杂的应用也陆续出现。

　　图像处理软件分类挑战赛的终极目标是，在考虑实际推理时间的情况下，提高多层分类框架的准确度。为了达到这个目标，就要解决以下三方面的问题。第一，一般情况下，我们会在每个验证图像的多个类似实例中运行一个给定模型的多个训练实例。这种方法叫做模型平均或DNN集成，可以极大提高推理所需的计算量，以获得published准确度。第二，不同研究报告中对验证图像做的预估模型（集合）的操作次数不一样，模型选择会受到影响，因此不同的抽样方法（以及取样集合的大小不同）得出的报告准确度结果就会有所偏差。第三，加速推理过程是模型实际应用的关键，影响着资源利用、功耗以及推理延迟等因素，而目前尚无方法使推理时间缩短。

　　本文旨在对过去4年图像处理软件分类挑战赛上出现的不同种类的先进的DNN架构做对比，从计算需要和准确度两个角度做分析，主要比较这些架构与资源利用实际部署相关的多个指标，即准确度、内存占用、参数、操作时间、操作次数、推理时间、功耗。

　　文章主要目的是通过分析，强调这些指标的重要性，因为这些指标是优化神经网络实际部署与应用的基本硬性限制条件。

　　评析方法

　　为了比较不同模型的质量，我们收集了文献中的一些数据，分析发现不同的抽样方法得出的结论也不一样。比如，VGG-16和GoogleNet 的central-crop误差分别是8.7%和10.07%，表明VGG-16性能优于googleNet，而用10-crop抽样，则误差分别是9.33%和9.15%，VGG-16又比GoogleNet差了。于是，我们决定基于分析，对所有网络重新评估，使用单个central-crop抽样方法。

　　图1: Top1 vs. 网络. Single-crop top-1 用最高评分体系检测准确度。上图中不同的配色方案表示不同的架构和作者。注意，同组网络共享相同的色相，比如所有的ResNet系列都是用粉色系表示的。

　　图 2: Top1 vs. 操作、数量大小、参数 Top-1 one-crop 准确度与单向前进传递所需操作次数的对比。图中气泡大小与网络参数数量成正比；右下角记录的是从5*106 到155*106参数值的历史最大值；所有数据都共享一个y轴，灰色点表示气泡中心的值。