上图每一个时刻都有输出，但是也不一定要这样。比如我们预测一个句子的情感倾向是我们只关注最后的输出，而不是每一个词的情感。类似的，我们也不一定每个时刻都有输入。RNN最主要的特点是它有隐状态(记忆)，它能捕获一个序列的信息。

　　RNN能做什么？

　　RNN在很多NLP任务中都取得了很好的效果。我这里所说的RNN指的最常见的是LSTM，它和最原始(vanilla)的RNN相比能够捕获更长距离的依赖。不要担心，LSTM和原始RNN的不同之处只是在于计算隐状态的方法。我们在之后会详细介绍LSTM的细节。这是RNN用于NLP的一些例子（当然不是所有）

　　1. 语言模型和文本生成

　　给定一个词的序列，我们可以预测给定之前的所有词时当前词出现的概率。语言模型让我们可以计算一个句子的可能性，这对于机器翻译是很重要的输入。这个模型的一个意外收获是我们得到了一个产生式的模型它可以预测下一个词，这可以帮助我们用采样的方式生产文本【先根据概率采样生成第一个词，然后根据第一个词计算第二个词的概率，采样第二个词，…】根据不同的训练数据我们可以生成各种各样的东西。在语言建模这个任务，我们的输入通常是一个词的序列（可以使用one-hot的向量表示方法），我们的输出是需要预测的词。我们在t时刻让它预测下一个词 xt+1 ，因此我的预测的输出 ot=xt+1。

　　语言建模和文本生成的论文包括：

Recurrent neural network based language model

Extensions of Recurrent neural network based language model

Generating Text with Recurrent Neural Networks

　　2. 机器翻译

　　机器翻译和语言建模的相似之处是输入是源语言(比如德语)的一个词序列。我们想输出目标语言(比如英语)的一个词序列。不同之处在于，我们只有在看到完整的输入之后才开始输出，因为我们想翻译的第一个词可能需要后面句子的信息才能翻译出来【比如多义词，它的具体含义依赖于整个句子】。

　　【上图我们首先用一个RNN来“记忆”源语言的句子，当它结束后再用一个RNN“翻译”成另外一种语言】

　　关于机器翻译的论文：

A Recursive Recurrent Neural Network for Statistical Machine Translation

Sequence to Sequence Learning with Neural Networks

Joint Language and Translation Modeling with Recurrent Neural Networks

　　https://www.microsoft.com/en-us/research/people/

　　3. 语音识别

　　给定一个序列的语音波形的声学信号，我们想预测音素序列。

　　【注：这里作者指的是声学模型部分，但是实际的语音识别需要借助前面的语言模型，使用解码器结合声学模型和语言模型把声音变成文字。传统的语音识别使用HMM-GMM来对声学特征建模，使用n-gram来建模语言，使用WFST把声学模型，发音词典和语言模型结合起来实现解码器。因此做一个语音识别系统需要很多模块，后来慢慢的用DNN替代了GMM而变成了HMM-DNN的声学模型，也有用RNNLM来替代传统的n-gram语言模型，但仍然需要解码器融合声学模型，发音词典和语言模型。到最近，End-to-end的语音识别系统开始出现，直接输入是声学特征，输出是词序列，完全抛弃了之前分模块的方法】

　　语音识别的论文：

Towards End-to-End Speech Recognition with Recurrent Neural Networks

　　4. 生产图片描述

　　【这正是我们这个系列教程的内容，读者这下明白我们为什么要介绍RNN/LSTM了吧】

　　通过结合卷积神经网络，RNN可以给一个图片生产一段描述。这看起来非常神奇。这样的模型甚至能够告诉我们生产的词对于图片的那些地方(特征)【attention机制可以更好的实现这一点，我们后面会介绍】

　　【上图就是根据图片生成文字同时还告诉我们每个词对应于图片的哪个部分】

　　RNN的训练