我们的系统另一方面是门控（gating），其控制了神经网络中的信息流。在每一个神经网络中，信息流也就是通过隐藏单元的数据。我们的门控机制将具体控制哪些信息应该需要传递到下一个神经元中，以便产生一个优良的翻译效果。例如，当预测下一个词时，神经网络会考虑迄今为止完成的翻译。而门控允许放大翻译中一个特定的方面或取得广义的概览，这一切都取决于神经网络在当前语境中认为哪个是适当。

未来开发

这种方法是一种可选的机器翻译架构，也为其它文本处理任务开启了新的大门。比如说，在对话系统中的多跳注意（multi-hop attention）让神经网络可以关注到对话中距离较远的部分（比如两个分开的事实），然后将它们联系到一起以便更好地对复杂问题作出响应。

以下为相关论文的摘要介绍：

论文：卷积序列到序列学习（Convolutional Sequence to Sequence Learning）

序列到序列学习（sequence to sequence learning）的普遍方法是通过循环神经网络将一个输入序列映射到一个可变长度的输出序列。我们引入了一种完全基于卷积神经网络的架构。相比于循环模型，其在训练阶段中所有元素上的计算都是完全并行的，且其优化更简单，因为非线性的数量是固定的且独立于输入的长度。我们使用门控线性单元简化了梯度传播（gradient propagation），而且我们为每个解码器层都装备了一的单独的注意模块（attention module）。我们在 WMT'14 英语-德语翻译和 WMT'14 英语-法语翻译上的准确度表现都超过了 Wu et al. (2016) 的深度 LSTM 设置，且在 GPU 和 CPU 上的速度都实现了一个数量级的提升。

图 1：训练中批处理（batching）的图示。顶部是英语源句子被编码，同时我们为 4 个德语目标词计算所有的注意值（中间）。我们的注意只是解码器上下文表征（底部左侧）和编码器表征之间的点积。我们为解码器上下文增加了由该注意模块计算出来的条件输入（中部右侧），其可以预测目标词（底部右侧）。S 型和乘法框表示门控线性单元。

博客文章参考文献

[1] Convolutional Sequence to Sequence Learning. Jonas Gehring, Michael Auli, David Grangier, Denis Yarats, Yann N. Dauphin.（即本论文）

[2] Google‘s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, ?ukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean. Technical Report, 2016. 参考机器之心文章《》

[3] Neural Machine Translation by Jointly Learning to Align and Translate. Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio. International Conference on Learning Representations, 2015. 地址：https://arxiv.org/abs/1409.0473

　　原文链接：https://code.facebook.com/posts/1978007565818999/a-novel-approach-to-neural-machine-translation/

↓↓↓