其次，因为LightRNN极大地压缩了模型的大小，它对并行机器学习也非常有用。考虑用多GPU分布式训练一个语言模型，标准RNN的模型大小为数GB，这样不同机器之间的模型同步就非常耗时，使通讯时间超过计算时间而成为瓶颈；相比之下LightRNN的模型大小仅为几十MB，非常容易在机器之间传输，通讯代价非常小，从而大大提高并行训练的效率。

第三，考虑到功耗和可定制性，现在很多公司都尝试在FPGA上开发深度学习算法和平台。由于FPGA的内存较小（相对于GPU而言），很多深度学习算法很难在FPGA上实现。LightRNN因为其模型的极度紧致，为FPGA上的RNN的实现提供一种可能。

第四，现在移动设备在人们的日常生活中扮演着不可或缺的角色。尽管深度学习日益普及，但是在移动设备上的应用始终非常受限，例如当前不可能在手机输入法里使用一个2-4GB大小的语言模型，尽管它的准确度可能很高。LightRNN的模型大小仅为几十MB，非常适合在移动设备上使用，因此LightRNN为深度学习在移动场景中的普及提供了一个可行的方案。

如前文所述，RNN乃是序列建模的绝招，适合非常多的应用，包括语言建模、机器翻译、聊天机器人、看图说话（Image captioning）、图像生成、语音识别等等。相应的，LightRNN通过以小见大、返璞归真，推动深度学习在在这些问题、场景里的实用化。我们相信，LightRNN会进一步提升深度学习在AI的江湖地位，并促进AI普及化进程（Democratizing AI，参见“”），而不是让AI或深度学习发展成为大型帮派的特权。

更多详细信息参见我们NIPS 2016 论文。

　　Xiang Li, Tao Qin, Jian Yang, and Tie-Yan Liu, LightRNN: Memory and Computation-Efficient Recurrent Neural Networks, NIPS 2016.

　　作者简介

　　秦涛

秦涛博士，现任微软亚洲研究院主管研究员。他和他的小组的研究领域是机器学习和人工智能，研究重点是深度学习和强化学习的算法设计、理论分析及在实际问题中的应用。他在国际顶级会议和期刊上发表学术论文80余篇,曾任SIGIR、ACML、AAMAS领域主席，担任多个国际学术大会程序委员会成员，包括ICML、NIPS、KDD、IJCAI、AAAI、WSDM、EC、SIGIR、AAMAS、WINE，曾任多个国际学术研讨会联合主席。他是IEEE、ACM会员，中国科学技术大学兼职教授和博士生导师。

　　你也许还想看：

　　微软小冰进驻微软研究院微信啦！快去主页和她聊聊天吧。