在机器学习这个领域崛起之前，人工智能的系统都是 hand-design rules。这张幻灯片不是想让你看这个 rule 是什么，而是想说这个 rule 有多复杂，而且都完全是用手工，用科学家的聪明的脑袋想出来的 rule。

　　这些 rule，会有什么样的问题？其实 Terry 这样绝顶聪明的人，他能建立这个系统，这个 rule 肯定已经是包罗万象了，但是这些 rule 还是有 3 个比较大的致命问题：

Scalability（可扩展性）。你不可能把天下所有的 rule，都写进一个程序。

Adaptability（可适应性）。当你给系统设计这个 rule 的时候，你很难把它转换到另外一个 rule。比如说，英文的语法、语义，我可以设计很多 rule。可是，我要把它放进中文，它的语法就完全不一样了，我就得重新设计一套 rule。

它是一个 Closed word。

　　所以说，Hand-design Rules 在 AI 这个领域发展的早期，给我们带来了一些曙光，但是它并没有把我们带进真正的光明。到了 80 年代开始，一个重要的子领域在人工智能领域开始发展，就是机器学习。

　　机器学习是什么呢？机器学习和传统的 programing 最大的区别，我在这里给大家画出来了。你可以想象，传统的编程，是用人去设计这个程序，然后在把 input 给它，让机器去做 inference，这就像 Terry 他们做的事情一样。

　　但是，机器学习不一样，机器学习是把 human programing 这一层给省掉了，放进了一个学习算法，它可以直接把数据放进学习算法，让这个学习算法去学习一个程序，这个程序可以 take input，然后 infer output。所以这是机器学习和传统编程最大的、本质上思路上的差别。

　　在机器学习的发展过程中出现了很多的算法种类，我今天没法详尽地跟大家一一介绍。但最近一个特别重要的算法，就是所谓的 deep learning。 从 80 年代开始，它叫神经网络。神经网络有很长的历史，50 年代 Rosenbatt 就提出了 perception 这个概念，这个概念就是把这些细胞怎么连接起来，然后一层一层地输入数据，然后输出结果（take layers of input and make output）。

　　到了 60 年代初，一个重要的神经生物学的发现，又推动了这个思路，这就是 Huble 和 Wiesel，在通过对猫的脑子做实验的时候发现，哺乳动物视觉的感知实际就有这种神经网络的概念，它是一层一层的细胞不断的推进，从简单的层面到复杂的层面。

　　到了 1980 年，70 年代末，一个重要的日本计算机科学家，叫 Fukushima，做出了第一个 Neocognitron 的神经网络，可以识别数字和字母。

　　到了 90 年代末，通过 Geoffrey Hinton、Yan LeCun 进一步的把学习的 rules 更优化了以后，就出现了今天大家比较熟悉的卷积神经网络。

　　最近，给我们带来最大的一次神经网络，或者叫深度学习冲击的 work，是 2012 年 Alex Krizhevsky 和他的导师 Geoffrey Hinton 一块写的 AlexNet。其实 AlexNet 和 1998 年的 Convolutional Neural Networks 区别不大。但是，为什么在 2012 年这个大致的历史时期，深度学习和神经网络发生了一次井喷式的成长和革命呢？是因为 3 个重要的因素：

这些算法的不断优化和成长。

互联网给我们带来的海量数据，这也是我和我的学生们在 9 年前做的一项工作 ，ImageNet。

硬件的发展。