其中，早先的模型，比如Self Organizing Map和Hopfield Network，它们的诞生主要基于人们对于这个世界基本的认知，因而相关的介绍也更加的浅显易懂。中期的模型，比如Boltzmann Machine和Restricted Boltzmann Machine虽然依然是前面模型的改进，当时的学者却更依赖于相关的数学和物理理论，因而本文在此处的介绍也是理论韵味十足，用公式铺路，步步前行。当Hinton介绍了Deep Belief Network之后，深度学习更依赖于经验性的结论的特点又将本文重点转为文字性的介绍。

　　Self Organizing Map（SOM）由Kohonen（1990）发明。 SOM是一种强大的技术，主要用于减少数据维度，通常减少到一维或二维（Germano, 1999）。在降低维度的同时，SOM还保留了数据点的拓扑相似性。它也可以被看作是用于聚类的工具，同时将拓扑强加在聚类表示上。

　　Hopfield Network历史上被描述为一种recurrent3形式的神经网络，由Hopfield创造（1982）。此处的“recurrent”是指连接神经元的权重是双向的。Hopfield Network因其内容可寻址的存储器属性而被广泛认可。

　　Boltzmann Machine，由Ackley等人发明（1985），是随机隐藏单元版的Hopfield Network。它的名字来自Boltzmann分布。

　　Restricted Boltzmann Machine（RBM），最初称为Harmonium，由Smolensky（1986）发明，是一种带有限制的Boltzmann Machine，其限制实在可见单元或隐藏单元之间没有连接。

　　深度置信网络由Hinton等人（2006）创造，他指出RBM可以以贪婪的方式进行堆叠和训练。

　　最后给大家介绍的是深度生成模型谱系里的最后一块里程碑，Deep BoltzmannMachine，由Salakhutdinov andHinton (2009)创造。DBM和上文提到的DBN的区别在于，DBM允许在底层中双向连接。因此，用DBM表示堆叠的RBM，比用DBN好得多。当然如果DBM Deep Restricted Boltzmann Machine可能更清楚。

　　在DBM之后，又出现了很多研究论文，未来的工作则更多。

　　卷积神经网络和人类视觉

　　卷积神经网络的谱系主要是从对人类视觉皮层的认识演变而来。卷积神经网络的视觉问题的成功原因之一是：复制人类视觉系统的仿生设计。第五节主要介绍了深度学习在计算机视觉角度上的发展，也就是卷积神经网络的发展，侧重于各个在ImageNet比赛中所有作为的神经网络模型。本章节以介绍人类的视觉神经网络开始，所有的后续介绍都将围绕着人类的视觉神经网络展开。

图3

　　在介绍了视觉神经网络之后，作者重点介绍了卷积在计算机视觉问题上的巨大意义。这些意义对于资深研究计算机视觉的老师同学来说可能已是陈词滥调，但是对于刚刚从深度学习时代开始接触计算机视觉问题的同学来说却可能至关重要。卷积作为一个非常有效的视觉特征提取工具，几乎是深度学习在计算机视觉问题上如此成功的基石。在介绍了卷积的意义之后，作者先介绍了LeNet，进而带领读者回顾了近几年在ImageNet上有所作为的重要模型，包括AlexNet，VGG，和ResNet。值得一提的是，即便是在人们开始用计算机模仿人类视觉神经网络之后近四十年的今天，即便是在一个模型是否与人类视觉神经网络相似已经不再重要的今天，ResNet的成功的重要创新模块依然可以在四十年前人类视觉神经网络的研究中找到影子。由此可见本文重新审视前人工作的重要性。本节的最后，作者介绍了一些在计算机视觉领域内的非常有趣的关键性问题，这些问题看似是计算机视觉问题的死穴，然而值得庆幸的是，人类视觉系统同样有这种盲点。卷积神经网络与人类视觉神经网络如此相似，甚至连缺陷都如此相似，究竟是喜是悲，还待更多后续工作揭晓。

　　递归网络

　　递归神经网络（RNN）是神经网络的一种，其单位的连接形成了有向循环; 这种性质赋予了其处理时间数据的能力。

　　“递归（recurrent）”的现代定义由Jordan（1986年）最早提出：