人类不会轻易地相信一些信息——当我们读到一篇关于政治的文章时，我们不会立刻相信我们读到的并把它当成自己的人生信仰。我们会选择哪些信息值得记住，哪些信息需要丢弃，哪些信息可以在下次阅读时提供一些决策依据。也就是说，我们想要学习如何收集、修正和应用信息。那我们为什么不让神经网络来学习这些呢？所以就有了LSTM。

任务都完成了，现在我们可以对它进行修改。

你可能会觉得LSTM区分长期记忆和工作记忆时傻傻的：为什么不合二为一？又或许你发现了独立记忆门和存储门有点多余。现在又有人提出一种新的LSTM变种，我们称之为GRU（Gated Recurrent Units）。

想了解更多GRU专业知识？这里有一份论文：

https://arxiv.org/abs/1412.3555

当决定记忆存储和集中你哪些信息时，我们不能单独依赖工作记忆，那为什么不能用长期记忆呢？所以我们又发现了Peephole LSTM。

Peephole LSTM Paper(PDF):

实现神经网络伟大复兴

让我们看看最后这个例子，我双层LSTM在特朗普的推特上训练。尽管这个数据集很“大”，它仍然学会了很多的模式。

比如，这是一个记录话题标签、URL和@的神经元。

这里还有一个专有名词检测器（注意：它不是只在遇到大写字母时激活）：

这是一个助动词+“to be”检测器（包括“will be”、“I’ve always been”、“has never been”等形式）：

这是一个引用属性：

还有一个MAGA（多智能体遗传算法）和大写的神经元：

下面是LSTM发布特朗普的推文声明——其实只有一个是真的，不妨猜猜看：

川普数据集在这里：

https://www.kaggle.com/benhamner/clinton-trump-tweets

总结

这篇文章写到这里，已经基本接近尾声了。在结束前，我们再回顾一下你收获了什么：

你需要记住的是：

虽然本文的篇幅较长，且讲解内容较多，但LSTM仍然是一个没有止境的研究领域。如果你恰巧对LSTM感兴趣，那就钻进去好好研究吧。

【完】

学习推荐

6月15号，量子位组织了一场沙龙，邀请到了图森首席科学家王乃岩博士分享自动驾驶相关话题，欢迎大家长按下图扫码报名~

One More Thing…

今天AI界还有哪些事值得关注？在量子位（QbitAI）公众号对话界面回复“今天”，看我们全网搜罗的AI行业和研究动态。笔芯~

追踪人工智能领域最劲内容