预测学习要求机器不仅能在没有人类监督的情况下学习，而且能够学习世界的预测模型。这点非常重要，这也是为什么 LeCun 试图改变人们对 AI 的通常分类（即无监督学习、监督学习和增强学习）。

　　以下为 Yann LeCun NIPS 2016 演讲实录——《预测学习》

　　很高兴跟大家分享，今天我演讲的主题是“预测学习”。

　　什么是预测学习？首先，j2直播，我们还是要先从感知机讲起。从下面的照片中可以看见年轻的 Geoff Hinton，他当时还是 CMU 的研究员。Tarry Knoafski、Jay McLaren（他当时也在CMU），在 McLaren 旁边是 Michael Jordan。照片上的这些人现在基本都已经成就了一番大事业。还有我，我就在那里。

　　当时是段美好的时间。那时候是人们第一次开始提起 Backpropagation，Backpro 这个概念在当时真的超级火，虽然论文还没有发表出来——照照片的时候还是 1986 年7月，在章节中涉及 BP 算法的书后来才出版，相关论文也是一年后才在 Nature 发表。

　　我现在展示的这张照片显示的是感知机——我们都忘记了 20 世纪 50 年代的感知机，但感知机可以说是所有神经网络的基础。感知机实际上并不是一个计算机程序，而是一台模拟计算机（analog computer）。与神经元模型不同，感知器中的权值是通过训练得到的。你只要一按键，当系统发生错误时，所有的模块都会“死过去”。

　　我们都知道监督学习是什么了，而我之所以要提监督学习，是因为后面我们会涉及为什么它有局限。在机器学习中，我们将样本——比如汽车或者飞机的图像，输入有很多可调参数的机器里——这实际上是一个类比。当输入的是一辆车时，红灯就会亮，当输入是飞机时就打开绿灯。然后我们就不停调整参数。通过增加梯度，我们可以调整亮绿灯的次数。

　　深度学习，从监督学习开始

　　这张 Slide 大家都看过很多次了，用于物体识别的深度卷积网络。监督学习实际上就是学会层次化的表征。例如下面用卷积网络做自动驾驶，这是当初 DARPA 挑战赛做的机器人。

　　使用卷积网络生成图说、进行图像词义分割

　　使用卷积网络进行的自动驾驶

　　多层神经网络：

　　一个单元包含多层神经网络

　　一个单元计算其获得的输入的一部分加权和

　　加权和会通过一个非线性函数

　　学习算法会改变权重

　　人工智能发展所面临的困境

　　1. 机器需要学习/理解世界的运转方式

　　物理世界、数字世界、人

　　需要掌握常识

　　2. 机器需要学会大量的背景知识

　　通过观察或者行动

　　3.机器需要感知世界的变化

　　以作出精准的预测和计划

　　4.机器需要更新并记住对世界状态的预测

　　关注重大事件、记住相关事件

　　5. 机器需要会推理和计划

　　预测哪些行动会带来预期的改变

　　智能&常识=感知+预测模型+记忆+推理&计划

　　什么是常识？代词“它”的指代对象，动作的执行者。机器该怎么理解。

　　预测学习/无监督学习的重要性

　　训练大型学习机器所要求的样本的数量，取决于我们让它预测的信息量

　　我们向机器提问的信息越多，所需的样本数量越大