分析发现，对批大小为16的图像，每个图像的运算量和推理时间之间存在线性关系。因此，在设计网络时，可以控制运算量，以使处理速度保持在实时应用或资源有限的应用的可接受范围内。

　　6. 运算和功耗

　　分析功耗和给定模型所需的运算次数之间的关系后，我们发现不同架构之间没有特定的 power footprint（见上图）。当达到完全的资源利用时，通常批大小较大，所有网络的额外消耗大致为 11.8 W，标准偏差为 0.7 W，空闲功率为 1.30 W。这是资源完全利用时的最大系统功耗。因此，如果功耗是我们要关注的点之一，atv直播，例如电池设备限制，可以简单地选择满足最低功耗要求的最慢的架构。

　　7 准确率和吞吐量

　　我们注意到，在单位时间里，准确率和推理数量之间存在非平凡的线性上限。下图显示，对于给定的帧速率，可以实现的最大准确率与帧速率本身形成线性比例。这里分析的所有网络均来自公开出版论文，并且已经得到其他研究团队的独立训练。准确率的线性拟合显示了所有架构的准确率与速度之间的关系。

　　此外，选定一个推理时间，可以得出资源充分利用条件下理论上的最大准确率。由于功耗固定，我们甚至可以进一步得出能耗限制下的最大准确率，这可以作为需要在嵌入式系统上运行的网络的基本设计因素。由于没有了扰流器，考虑前向推理时间时，准确率与吞吐量之间的线性关系转变为双曲线关系。那么，假设运算量与推理时间是线性关系，准确率对网络需要的运算量则具有双曲线依赖性（hyperbolical dependency）。

　　8 参数使用

　　我们已经知道，DNN 在利用全部学习能力（参数数量/自由度）方面非常低效。Han et al., 2015 的研究利用 DNN 的这个缺陷，使用权重剪枝（weights pruning）、量化（quantisation）和变长编码（variable-length symbol encoding）将网络规模减小了50倍。值得注意的是，使用更高效的架构能够产生更紧凑的呈现。如上图所示，虽然 VGG 比 AlexNet 的准确率更高（图1），但其信息密度不如 AlexNet。这意味着在 VGG 架构中引入的自由度带来的准确率上的提高不大。

　　结语

　　本文从准确性、内存占用、参数、运算量、推理时间和功耗方面，对 ImageNet 竞赛中多个先进深层神经网络进行了分析，从而对设计用于实际应用的高效神经网络提供参考并优化资源，因为在实际部署中我们能使用的资源往往十分有限。从上文可知，atv，神经网络的精度和推理时间呈双曲关系：准确度的微量增加也会花费大量的计算时间。此外，网络模型的运算量能有效估计推理所需要的时间。

　　这也是我们为 ImageNet 创建 ENet（Efficient-Network）的原因。ENet 是当前对参数空间利用率最好的架构。

　　【进入新智元公众号，在对话框输入“1127”下载全文】

新智元招聘

　　职位 运营总监

　　职位年薪：36- 50万（工资+奖金）

　　工作地点：北京-海淀区

　　所属部门：运营部

　　汇报对象：COO

　　下属人数：2人

　　年龄要求：25 岁 至 35 岁

　　性别要求：不限

　　工作年限：3 年以上

　　语 言：英语6级（海外留学背景优先）

　　职位描述

负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向

擅长开拓市场，并与潜在客户建立良好的人际关系

深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态

主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力

带领团队完成营业额目标，并监控管理项目状况

负责公司平台运营方面的战略计划、合作计划的制定与实施

　　岗位要求

大学本科以上学历，硕士优先，要求有较高英语沟通能力

3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作

对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解

具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力

具备优秀的时间管理、抗压能力和多任务规划统筹执行能力

有广泛的TMT领域人脉资源、有甲方市场部工作经验优先考虑

有媒体广告部、市场部，top20公关公司市场拓展部经验者优先