他提出的很多控制理论已经被直接应用在AI和ANN中，比如输入系统的行为，被反馈修正的过程等问题。它们是训练神经网络的连续反向传播模型(也就是错误的反向传播)的基础。

1965年：首个有效深度学习网络诞生

推进人：Alexey Ivakhnenko和V.G. Lapa

数学家Ivakhnenko和Lapa等同事在1965年创建了首个有效深度学习网络。这是一个针对监督深度前馈多层感知的通用、可行的学习算法，首次将理论和想法应用到实践上。

Ivakhnenko提出数据分组处理 (Group Method of Data Handling，简称GMDH)的核心技术：这是一种基于计算机数学模型的多参数数据集的归纳算法，能够自动建模并优化参数。这项技术可以被应用到神经网络上。

GMDH官方介绍（英文）：

出于这个原因，很多人认为Ivakhnenko是现代深度学习之父。

△Alexey Ivakhnenko

他的算法使用深层前馈多层感知器，逐层统计寻找最佳的特征，并传递给系统。

在1971年，Ivakhnenko在当时计算条件的限制下，已经创造出了8层的深度网络，并成功演示了计算机识别系统Alpha的学习过程。

1970-80年：ANN学会识别视觉模式

推进人：Kunihiko Fukushima

日本的福岛邦彦（Kunihiko Fukushima）于1980年提出“新认知机”（Neocognitron）的概念。

新认知机介绍（英文）：

这是一种学习如何识别视觉模式的人工神经网络。目前，j2直播，这项技术已经被应用在手写字符和其他模式识别、推荐系统甚至自然语言处理等任务中。

1982年：创造出Hopfield网络

推进人：John Hopfield

1982年，Hopfield创立并推广了这个以他的名字命名的系统。

Hopfield网络是一种循环神经网络，也是一种综合存储系统。即使到了21世纪，它仍然是一种流行的深度学习实现工具。

什么是Hopfiled?这里有一份英文介绍：

1985年：程序会读英语单词了

推进人：Terry Sejnowski

1985年，计算神经科学家Terry Sejnowski利用通过理解人类学习过程创建了NETtalk。

不妨听作者自己讲讲什么是NETtalk：

~rieffelj/classes/2009-10/csc320/readings/Sejnowski-speech-1987.pdf

该程序学习英语单词的方法与人类孩童无异，程序文本转换为语音的质量也随着时间推移进步。

1986年：形状识别和词汇预测水平提高

推进人：David Rumelhart, Geoffrey Hinton, and Ronald J. Williams

1986年，Rumelhart、Hinton和Williams提出误差反向传播算法（Error BackPropagation Algorithm)，也就是现在说的BP算法。这项算法至今仍被应用在形状识别，词汇预测等任务中。

论文链接（英文）：

https://www.researchgate.net/publication/229091480_Learning_Representations_by_Back_Propagating_Errors

Hinton是公认的“深度学习之父”，他对神经网络的其他贡献包括分散表示、延时神经网络、专家混合系统和亥姆霍兹机等。目前Hinton任职于多伦多大学与Google。

1989年：机器读取手写数字

推进人：Yann LeCun

LeCun是深度学习领域中的另一个“摇滚明星”，他发现了如何在光学字符识别和计算机视觉上使用卷积神经网络 (CNN)，因此被称为卷积网络之父。

1989年，他将卷积神经网络和反向传播理论结合起来，创造出能“读懂”手写数字的学习方法。

1989年：Q-learning诞生

推进人：Christopher Watkins

Watkins在1989年发表的博士论文《延迟奖励学习》中，提出Q-learning的概念，提高了强化学习的实用性和可行性。

论文地址（英文）：

~chrisw/new_thesis.pdf

这种新算法表明，可以直接学习最优控制，而不需要对马尔可夫决策过程的转移概率或预期回报进行建模。

1993年：解决了“很深度学习”的任务

推进人：Jürgen Schmidhuber

德国计算机科学家Schmidhuber在1993年解决了一个“很深度学习”的任务，允许循环神经网络中包含1000个层。

这是神经网络处理复杂性问题能力的巨大飞跃。

1995年：支持向量机

推进人：Corinna Cortes和Vladimir Vapnik

支持向量机（SVM）自20世纪60年代问世以来，经过了数十年的改进。

SVM英文介绍：

~chrisw/new_thesis.pdf

目前的标准模型由Corinna Cortes和Vladimir在1993年设计出来，并于1995年提出的。

简单来说，SVM是一种用于识别和映射类似数据的系统，可用于文本分类，手写字符识别和图像分类。

1997年：提出LSTM

推进人：JürgenSchmidhuber和Sepp Hochreiter

20年前，Schmidhuber和Hochreiter提出了一种循环神经网络框架，称之为长短时瞬时记忆（LSTM）。

△LSTM经典模型

或许你需要这份资料（英文）：

https://colah.github.io/posts/2015-08-Understanding-LSTMs/

LSTM解决了长期依赖性问题，提高了循环神经网络的效率和实用性，也就是说它可以“记住”更长时间的信息。

随着时间的推移，LSTM网络在深度学习圈中得到了广泛应用。最近，谷歌还将其应用在Android智能手机的语音识别软件中。

1998年：提出基于梯度的学习

推进人：Yann LeCun

1998年，Yann LeCun发表了开创性论文《基于梯度学习的文档识别方法》，标志着LeCun在深度学习领域取得了又一次进步。

论文地址：

随机梯度下降算法（又称基于梯度的学习）与反向传播算法相结合，是目前常用的深度学习方法。

2009年：ImageNet创立

推进人：李飞飞

2009年，斯坦福大学人工智能实验室（SAIL）的负责人李飞飞启动了ImageNet，也就如今全球最大的图像识别数据库。

ImageNet官网：

这是一个免费的图像数据库，里面涵盖了超过1400万张图像，为研究人员、教育工作者和学生提供了有标签的图片。

这些图片被打上标签并通过英文词汇数据库Wordnet管理。

2011年：AlexNet问世

推进人：Alex Krizhevsky

AlexNet是2012年ImageNet竞赛冠军获得者Alex Krizhevsky设计的，是卷积神经网络的一种。

AlexNet改进了LeNet5(早些年由Yann LeCun创建)。它最初只有8个层，包含5个卷积层和3个全连接层，并通过修正线性单元来加强速度和dropout。

自AlexNet被发现后，更多更深的神经网络也相继出现，它甚至为后续的CNN甚至是R-CNN等其他网络都定下了基调。

2012年：关于猫的实验

“猫的实验”？

你一定在心里画上了个问号。这听起来很可爱，好像也不重要，但它确实是深度学习向前迈进的一大步。

实验介绍（英文）：

实验团队在数千台电脑上使用一个神经网络，将1千万张没有标记的YouTube视频截图上传至系统，并运行。

当这种无监督学习完成时，程序已经学会了如何自己鉴定并识别猫咪，运行正确率约为70%，相对于其他辨认程序，这个结果要好很多。

但是它也并不完美。这个网络可以仅能识别出约15%的表示对象。也就是说，距离真正的智能，它也仅推进了一小步。

2014年：DeepFace诞生

推进人：Facebook团队

Facebook团队在2014年首次公布了DeepFace研究，通过神经网络将人脸识别正确率提升到97.35%。这是一项重大突破，准确率比之前提高了27%。

目前人脸识别已经无处不在，下图为谷歌图片中用到的类似的程序。

2014年：发现生成式对抗网络（GAN）

推进人：Ian Goodfellow

自从两年前蒙特利尔大学的Ian Goodfellow等人提出GAN的概念以来，GAN呈现出井喷式发展。Yann LeCun也非常喜欢GAN——