循环神经网络是当前深度学习热潮中最重要和最核心的技术之一。近日，Jason Brownlee 通过一篇长文对循环神经网络进行了系统的介绍。机器之心对本文进行了编译介绍。

循环神经网络（RNN/recurrent neural network）是一类人工神经网络，其可以通过为网络添加额外的权重来在网络图（network graph）中创建循环，以便维持一个内部状态。

为神经网络添加状态的好处是它们将能在序列预测问题中明确地学习和利用背景信息（context），这类问题包括带有顺序或时间组件的问题。

在这篇文章中，你将踏上了解用于深度学习的循环神经网络的旅程。

在读完这篇文章后，你将了解：

用于深度学习的顶级循环神经网络的工作方式，其中包括 LSTM、GRU 和 NTM。

顶级 RNN 与人工神经网络中更广泛的循环（recurrence）研究的相关性。

RNN 研究如何在一系列高难度问题上实现了当前最佳的表现。

注意，我们并不会覆盖每一种可能的循环神经网络，而是会重点关注几种用于深度学习的循环神经网络（LSTM、GRU 和 NTM）以及用于理解它们的背景。

那就让我们开始吧！

概述

我们首先会设置循环神经网络领域的场景；然后，我们将深入了解用于深度学习的 LSTM、GRU 和 NTM；之后我们会花点时间介绍一些与用于深度学习的 RNN 相关的高级主题。

循环神经网络

完全循环网络（Fully Recurrent Networks）

递归神经网络（Recursive Neural Networks）

神经历史压缩器（Neural History Compressor）

长短期记忆网络（LSTM）

门控循环单元（GRU）神经网络

神经图灵机（NTM）

循环神经网络

首先让我们设置场景。

人们普遍认为循环（recurrence）是给网络拓扑结构提供一个记忆（memory）。

一种更好的看法是训练集包含一种样本——其带有一组用于循环训练样本的输入。这是「传统的惯例」，比如传统的多层感知器

X(i) -> y(i)

但是该训练样本得到了来自之前的样本的一组输入的补充。这是「非传统的」，比如循环神经网络

[X(i-1), X(i)] -> y(i)

和所有的前馈网络范式一样，问题的关键是如何将输入层连接到输出层（包括反馈激活），然后训练该结构使其收敛。

现在，让我们来看看几种不同的循环神经网络，首先从非常简单的概念开始

完全循环网络

多层感知器的分类结构得到了保留，但该架构中的每个元素与其它每个元素之间都有一个加权的连接，并且还有一个与其自身的反馈连接。

并不是所有这些连接都会被训练，而且其误差导数的极端非线性意味着传统的反向传播无法起效，因此只能使用通过时间的反向传播（Backpropagation Through Time）方法或随机梯度下降（SGD）。

另外，atv，可参阅 Bill Willson 的张量积网络（Tensor Product Networks）：~billw/cs9444/tensor-stuff/tensor-intro-04.html

递归神经网络

循环神经网络是递归网络的线性架构变体。

递归（recursion）可以促进分层特征空间中的分支，而且其所得到的网络架构可以在训练进行中模拟它。

其训练是通过子梯度方法（sub-gradient methods）使用随机梯度实现的。

R. Socher 等人 2011 年的论文《Parsing Natural Scenes and Natural Language with Recursive Neural Networks》中使用 R 语言对其进行了详细的描述，参阅：

神经历史压缩器

在 1991 年，Schmidhuber 首先报告了一种非常深度的学习器，其可以通过一种 RNN 层次的无监督预训练来在数百个神经层上执行功劳分配（credit assignment）。

每个 RNN 都是无监督训练的，可以预测下一个输入。然后只有产生错误的输入会被前馈，将新信息传送到该层次结构中的下一个 RNN，然后以更慢的、自组织的时间尺度进行处理。

事实表明不会有信息丢失，只是会有压缩。该 RNN stack 是数据的一个「深度生成模型（deep generative model）。这些数据可以根据其压缩形式重建。

参阅 J. Schmidhuber 等人 2014 年的论文《Deep Learning in Neural Networks: An Overview》：