现在，让我们来看第三步。我们希望这个 O 模块输出一个特征表示，使其最佳地匹配给定问题 X 的一个可能的答案。现在这个问题将要与每个独立的记忆单元进行匹配并且基于记忆单元支持该问题的程度被「评分」。

我们使用评分函数的 argmax 值来找到支持问题的最佳输出表示（你也可以取多个最高得分单位，不必限于 1）。评分函数是计算不同问题和选取存储单元的不同嵌入之间的矩阵乘积的函数（更多细节请查看论文）。你也可以这样认为，你将两个单词的单词向量相乘以找到他们的相似之处。然后将输出表示 o 馈送入 RNN 或者 LSTM 或者另一个输出可靠答案的评分函数。

该网络以监督的方式训练，其中训练数据包括原始文本、问题、支撑句（supporting sentences）、以及 ground truth 答案。这里是目标函数。

对于那些感兴趣的人，这是构建这种记忆网络方法的论文。

End to End Memory Networks：https://arxiv.org/pdf/1503.08895v5.pdf

Dynamic Memory Networks：https://arxiv.org/pdf/1506.07285v5.pdf

Dynamic Coattention Networks ：https://arxiv.org/pdf/1611.01604v2.pdf

论文：用于情感分析的 LSTM 树（Tree LSTMs for Sentiment Analysis）

链接：https://arxiv.org/pdf/1503.00075v3.pdf

简介：下一篇文章讨论了情感分析方面的进步，确定短语是否有正面或者负面的含义/意义。更正式地说，情感可以被定义为「对于某个情况或事件的看法或者态度」。当时，LSTM 是情感分析网络中最常用的单元。作者：Kai Sheng Tai、Richard Socher 和 Christopher Manning，本文介绍了以一种非线性的结构将 LSTM 连接在一起的新方法。

这种非线性组合背后的动机在于自然语言中表现出的将序列中的词变成短语的特性。这些取决于词的顺序的短语可以有着与原始的组成词不同的意义。为了表示这种特性，LSTM 单元的网络被布置成树状结构，直播，其中不同单元受其子节点的影响。

网络架构

LSTM 树和标准树之间的一个区别是，后者的隐藏状态是当前输入和先前时间步长的隐藏状态的一个函数。然而，对于 LSTM 树，其隐藏状态是当前输入和其子单元的隐藏状态的函数。

有着新的基于树的结构，一些数学变换，包括具有遗忘门（forget gates）的子单元。对于那些对细节感兴趣的人，请查看论文获取更多信息。然而，我想要关注的是为什么这些模块比线性 LSTM 工作的更好。

使用 LSTM 树，单个的单元能够并入其所有子节点的隐藏状态。这非常有趣，因为一个单元可以不同地评价其每个子节点。在训练期间，神经网络可以实现特定词（也许是在情感分析中的「not」或者「very」），这对句子的整体情感非常重要。将节点评价的更高为网络提供了极高的灵活性，并可以提高其性能。

论文：神经机器翻译（Neural Machine Translation）

链接：https://arxiv.org/pdf/1609.08144v2.pdf

简介：我们今天要讨论的最后一篇论文描述了机器翻译任务的另一种方法。作者为谷歌大脑的 Jeff Dean、Greg Corrado、Orial Vinyals 等人，本文介绍了一种机器翻译系统，该系统为谷歌流行的翻译任务的支柱。与之前使用的谷歌生产系统相比，该系统平均减少了 60% 的翻译错误。

传统的自动翻译方法包括基于短语匹配的变体。这种方法需要大量的语言领域的知识，最终它的设计被证明太脆弱并且缺乏泛化能力。传统方法的一个问题是它将尝试逐个翻译输入的句子。结果，更有效的方法是（神经机器翻译（NMT）使用的方法）一次翻译整个句子，从而允许上下文更加广泛并且使语言重新排列的更加自然。

网络架构