残差网络（Residual Net）的训练与考察——残差网络在图像分类方面表现不错。来自 Facebook 和 CornellTech 的两位研究人员在 Torch 中采用了这种网络 ★★★

ConvNets 实践——使用卷积网络方面的许多实用技巧包括：数据增强、迁移学习、卷积运算的快速实现 ★★

循环神经网络（Recurrent neural networks）

循环神经网络（RNN）是与序列一起使用的。通常用于语句分类（比如情感分析）和语音识别，但也用于文本生成，甚至图像生成。

循环神经网络的合理有效性——描述了 RNN 如何生成文本、数学论文和 C++ 代码 ★

Hugo Larochelle 的课程并不涉及循环神经网络（即使它涵盖了循环神经网络应用方面的许多话题）。我们推荐你补上 Nando de Freitas 的《Recurrent Neural Nets and LSTMs》课程 ★★

10. 循环神经网络、图像字幕、LSTM ★★

13.Soft Attention（38:00 起）★★

Michael Nielsen 的书最后一节是卷积网络。深度神经网络的其他方法（Other approaches to deep neural nets）一节只是简要回顾了简单循环网络和 LSTM。★

10. 序列建模（Sequence Modeling）：循环和递归网络（Recurrent and Recursive Nets）★★★

斯坦福大学 Richard Socher 教授的 CS224d(2016)《循环神经网络（Recurrent Neural Networks）》课程★★

了解 LSTM 网络 ★★

循环神经网络也被用在了每一个现代框架中。

Theano：有单词嵌入的循环神经网络 ★★★

Theano：用于情感分析的 LSTM 网络★★★

使用 Python、NumPy 和 Theano 实现循环神经网络 ★★

karpathy 的 char-rnn 代码的 Lasagne 实现 ★

在 Lasagne 中结合卷积神经网络和循环神经网络用于口语识别 ★

在 Lasagne 中采用 LSTM 网络进行自动音译 ★

Tensorflow：用于自然语言建模的循环神经网络 ★★

Tensorflow 中的循环神经网络 ★★

理解并实现 Deepmind 的 DRAW 模型 ★★★

LSTM 的实现说明 ★★

karpathy 的 char-rnn 代码的 Torch 实现 ★★★

自编码器（Autoencoders）

自编码器是为无监督学习（例如数据未标记的情况）而设计的神经网络。可用它进行降维、预训练其他神经网络及数据生成等。以下资源还包括自编码器与图形模型的有趣混合体，称为变分自编码器（variational autoencoders），不过其数学基础是下一节的内容。

6. 自编码器（Autoencoder）★★

7.6. 深度自编码器（Deep Autoencoder）★★

14. 视频与无监督学习（32:29 起）——此视频还涉及一个令人兴奋的话题：生成对抗网络（Generative Adversarial Networks/GAN）。★★

14. 自编码器（Autoencoders）★★★

ConvNetJS 去噪自编码器演示 ★

变分自编码器与图像生成中的 Karol Gregor ★★

大多数的自编码器都很容易实现。我们建议你浏览完整案例前自己先试着实现一下。

Theano：去噪自编码器 ★★

使用堆栈式自编码器（stacked autoencoders）深入研究 Tensorflow ★★

Tensorflow 中的变分自编码器 ★★

在 ImageNet 上使用 Torch 7 训练自编码器 ★★

在 Keras 中构建自编码器 ★

概率图模型（Probabilistic graphical models/PGMs）