Yann 介绍了一个预测落体轨迹的模型，其使用了非真实的游戏引擎，它与真实世界的真实物体略微不同，因此，也只是在游戏引擎中有效。后来，他讨论了真实世界中的真实物体的情况。

从文本中进行推断：实体 RNN

尽管监督式 ConvNet 已经取得了重大的进展，我们仍需要记忆增强网络赋予机器进行推论的能力。Yann 用 PPT 的形式帮助我们理解记忆堆栈增强循环网络。

使用记忆模块增强神经网络

循环网络不能进行长期记忆

皮层记忆只能持续 20 秒

神经网络需要一个「海马体」（一个单独的记忆模块）

LSTM [Hochreiter 1997]，暂存器

Memory networks [Weston et 2014] (FAIR)，联合存储器

堆栈增强循环神经网络 [Joulin & Mikolov 2014] (FAIR)

神经图灵机 [Graves 2014]

可微分神经计算机 [Graves 2016]

此外，他也给出了一个例子演示 MemNN 的结果。

EntNet 是第一个解决所有 20 个 bAbi 任务的模型。

无监督学习

基于能量的无监督学习

塑造能量函数的 7 种策略

1. 建立低能量体量（the volume of low energy stuff）不变的机器

PCA、K-means、GMM、square ICA

2. 数据点能量的下推（push down），其他位置能量都提高（push up)

最大似然（需要易操作的配分函数）

3. 数据点能量的下推（push down），在选择出的点上进行提高

contrastive divergence、Ratio Matching、Noise Contrastive Estimation、Minimum Probability Flow

4. 围绕数据点最小化梯度，最大化曲率（curvature）

score matching

5. 训练一个动态系统，以便于动态进入 manifold

降噪自编码器

6. 使用正则化进行限制有低能量的空间体量

Sparse coding、sparse auto-encoder、PSD

7. 如果 E(Y) = ||Y - G(Y)||^2, 尽可能的使得 G(Y) 不变

Contracting auto-encoder, saturating auto-encoder

对抗训练

然后，他谈到了 2014 年由 Ian Goodfellow 提出的对抗训练（GAN），这是改进机器预测能力的一种方式。GAN 包括一个生成器、一个判别器，它们同时进行学习。你可以通过阅读引用 [5],、[6] 了解更多。

下面是在现实世界进行预测的一个例子。比如图中演示，当你松手时笔倒下可能指向不同的方向。我们如何准确的预测笔的指向？这是一个难题，与学物理的学生多交流会有帮助。

然后，直播，Yann 给出了一个解决方案，基于能量的无监督学习：

下面我附上了 PPT，有一些关于基于能量的 GAN 的函数：

视频预测