考虑一下二进制序列中所有可能的6-gram分布的集合。每个6-gram分布可以表示为32个数字的表格，指定下一位将为1的概率，给定所有可能的长度五个二进制历史。通过使用当前查找表绘制200个连续位来生成特定的训练序列。网络一次观察序列一位，然后被要求预测下一位。

优先排序任务测试NTM的排序能力。将随机二进制向量序列与每个向量的标量优先等级一起输入到网络中。优先级从[-1,1]范围内均匀绘制。目标序列包含根据其优先级排序的二进制向量。作为其组成部分之一，NTM具有LSTM的前端架构。

概要

在这篇文章中，你已经了解了用于深度学习的循环神经网络（RNN）。

具体来说，你学到了：

用于深度学习工作的RNN，如LSTM、GRU和NTM。

RNN的研究如何引发了一系列具有挑战性的问题。