关于深度学习十年的历史， 我从里面抽取出来一张表。理论上开创性的工作——刚才王飞跃老师讲到神经网络可以追溯到好几十年前。这里我只讲讲近代的历史。上世纪80到90年代第二次人工智能浪潮，主要也是由神经网络突破引起的，当时的突破主要是在概念上的突破，神经网络的一些算法（比如BP算法）成为非常主流的算法，一直延伸到现在。但是，工业应用上的大规模突破只是到最近——就像 Yoshua Bengio 教授讲的——五到六年之前才开始。

　　这是一篇对我来说非常重要的文章，加拿大安大略省的多伦多大学差不多20年前发表的文章提出“Wake Sleep”算法——怎么让神经网络做非监督的学习。90年代期间第二次神经网络热潮往下降，一直做不起来。大家往深层次的模式来想，那时候这种方法也没有成功，但是对我有非常大的启发。 我当时也在加拿大安大略省任教，做时程上的深层次的神经网络研究，在1994年同我的博士生一起做神经网络的研究，写了这篇文章。

　　我当时做语音识别做了相当长的时间，神经网络一直比不上统计概率的模型。我跟研究生写的这篇文章，对神经时间序列预测模型做了非常细致的数学分析，跟 Yoshua Bengio 一篇文章有点类似。当然，网络层次很深以后，学习的难度就变得非常大。当时用到语音识别上没成功。但是给我们很大的启发——到底要往哪个方向走？这是20年前的事情。在这篇文章之后，大家都认识到神经网络用到语音识别成功的机会不是很大，更重要的原因是当时统计的模型发展得非常快，另外还有 SVM 机器学习的模型在那时候实际应用的效果远远超过神经网络。所以那时神经网络就慢慢像刚才 Yoshua Bengio 教授讲那样削弱了。

　　之后不久我从大学跳到微软公司，当时我的一个团队做了深层的动态 Bayesian 网络，相对比较容易解释并嵌入语音生成的知识与其科学原理。 但是还有一大串的问题。这些十年前深度 Bayesian 网络的问题，现在已慢慢得到解决 （用神经网络帮助 variational inference）。

　　深层次模型最早的一个突破还得归功于 Geoffrey Hinton 的一篇文章，这篇文章确实成为一个开启深度学习热潮的因素。现在大部分的深度学习模型是一层一层网络不断从下往上把原始数据变换成它的类别。这篇文章正好相反，不是往上，更注重从上到下生成数据。 这有点像“做梦”，你做梦的时候可以产生一些想法，做的“梦”产生一些数据。你在醒的时候就可以把你所看到的真实的感知数据抽象出来、总结出来，成为你感知的对象。经过反复的上下信息传递的过程，就可以打造一种非常巧妙但并不直观的生成式模型，而且对这种模型来说，这篇文章介绍了一个巧妙的学习方法。我看到这个方法以后，就开始思考这和我以前做的也是生成式的深度 Bayesian 语音识别模型会有什么关系。当时没看很懂，想探索怎么把这种模型跟我们的深度 Bayesian 语音识别模型结合起来。所以当时我就请 Hinton 到我们的西雅图共事一段时间。

　　与 Hinton 合著论文成为经典，推动语音识别产业成功

　　2009 年底搞了一个 NIPS 讲习会，将深度学习各种不同的方法在语音识别上的应用总结一下，那时候已经有初步的结果出来，但是结果不是特别好。当时所有的深度学习在语音识别上面都是聚集在非常小的数量上面——大概 只有100万帧左右的的数据量，非常有限。