最后的“密集”步骤会恢复已剪枝的连接，使网络再次变的密集。这些之前剪枝的连接会初始化为零并重新训练。恢复被剪枝的连接增加了网络的维度，并且更多的参数更容易使网络的鞍点向下滑动以获得更好的局部最小值。

　　我们将DSD训练方法应用于各种类型的神经网络和不同领域的数据集。 我们发现DSD训练方法提高了所有这些神经网络的精确度。 神经网络选自CNN、RNN和LSTM；数据集是从图像分类、语音识别和图像描述领域中选择的， 结果如图5所示。DSD模型可以在DSD Model Zoo上下载。

DSD训练提高了预测精度

　　生成图像描述

　　我们把在图像描述任务中使用DSD训练方法的效果做了可视化（见图6）。我们把DSD训练方法应用于NeuralTalk中，NeuralTalk是一个用于生成图像自然语言描述的长短时记忆模型（LSTM）。基准模型不能很好的描述图片1、4和5。例如图片1，基准模型将女孩错误地描述为男孩，并且把女孩的头发错误地描述为岩墙。稀疏模型可以在图片中识别出有一个女孩，而DSD模型可以进一步识别出秋千。

　　在第二张图片中，DSD训练方法可以识别出运动员正在尝试投篮，而基准模型只能描述成运动员正在打球。值得注意的是稀疏模型有时比DSD 模型表现得更好。在最后一张图片中，稀疏模型能够正确地识别出泥潭，而DSD模型只能从背景中识别出森林。DSD训练方法的优良性能不仅限于这些例子，此论文的附录中提供了更多的由DSD训练方法生成的图像描述结果。

DSD训练方法提高图像描述的性能的可视化展现

　　稀疏模型的优点

　　用于把深度神经网络压缩为较小模型的深度压缩和用于神经网络正则化的DSD训练方法都是利用模型稀疏性来实现更小的模型或者更高的预测精度的技术。除了模型大小和预测精度，我们还研究了可以利用稀疏性的其他两个方面：速度和能耗，这超出了本文的讨论范围。读者可以查看EIE论文作为进一步的参考。

　　作者介绍：

　　Song Han是斯坦福大学Bill Dally教授的5年级博士生。他专注于机器学习和计算机体系架构的交叉领域的节能深度学习。Song提出的深度压缩技术可以将最先进的卷积神经网络模型的大小压缩10倍到49倍，也可以把SqueezeNet压缩到只有470KB，这使得模型完全可用于片上SRAM上。他提出的DSD训练流程提高了很多神经网络的预测精度。他设计的EIE（高效推理引擎）是在压缩的稀疏神经网络模型上直接推理的硬件架构体系，这种引擎比GPU的速度提高了13倍而能耗降低了3000倍。他的工作已经在TheNextPlatform、TechEmergence、Embedded Vision和O'Reilly上发表，并且他的论文获得了ICLR’16的最佳论文奖。

新智元招聘

　　职位 运营总监

　　职位年薪：36- 50万（工资+奖金）

　　工作地点：北京-海淀区

　　所属部门：运营部

　　汇报对象：COO

　　下属人数：2人

　　年龄要求：25 岁 至 35 岁

　　性别要求：不限

　　工作年限：3 年以上

　　语 言：英语6级（海外留学背景优先）

　　职位描述

负责大型会展赞助商及参展商拓展、挖掘潜在客户等工作，人工智能及机器人产业方向

擅长开拓市场，并与潜在客户建立良好的人际关系

深度了解人工智能及机器人产业及相关市场状况，随时掌握市场动态

主动协调部门之间项目合作，组织好跨部门间的合作，具备良好的影响力

带领团队完成营业额目标，并监控管理项目状况

负责公司平台运营方面的战略计划、合作计划的制定与实施

　　岗位要求

大学本科以上学历，硕士优先，要求有较高英语沟通能力

3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作

对传统全案公关、传统整合传播整体方案、策略性整体方案有深邃见解

具有敏锐的市场洞察力和精确的客户分析能力、较强的团队统筹管理能力