正在举办的GTC17上，百度硅谷AI实验室的研究员Saran Narang发布了百度对于RNN（循环神经网络）的最新研究，他们称可将其体积减少90%，而方法是采用了“稀疏训练”（Sparse T.raining）。

　　循环神经网络（RNN）被广泛用于解决各种问题，随着数据量和可用计算量 的增加，模型规模也越来越大。最近，最先进的网络中大量的参数使其难以部署，特别是在手机和嵌入式设备上。我们所面临的挑战是模型的大小和评估它所花费的时间。为了有效部署这些RNN，我们提出了一种通过在网络的初始训练期间修剪权重来减少网络参数的技术。训练结束时，网络参数稀疏（sparse），atv，准确度仍然接近原来的密集（dense）神经网络。该网络规模缩小8倍，j2直播，训练模型所需的时间保持不变。此外，我们可以修剪较大的密集网络，以达到比基准性能更好的效果，同时仍然显著减少参数的总数。修剪RNN减少了模型的体积，并且还可以帮助使用稀疏矩阵乘法 （sparse matrix multiply）实现显著的推理时间加速。基准测试显示，使用我们的技术，模型体积可以减少90％，加速大约2-7倍。

　　论文如下（请点击下载）

　　https://arxiv.org/abs/1704.05119?from=singlemessage&isappinstalled=0