大规模文档中检索答案在时间有效性上目前仍是一大挑战，由华盛顿大学和谷歌等多家机构联合发表的这篇文章中，针对大规模文档检索提出了一种高效检索并保持甚至提高目前最先进模型性能的架构 - 模型分层对文档检索。首先使用快速模型从大规模文档中选择问题相关的少量句子：使用三种不同句子简单表示方式处理大规模文档，然后利用Hard或Soft注意力机制得到文档的一个摘要表示，并使用三种不同方式选择少量候选句子，然后才用相对慢速的端到端神经网络模型从候选句子中产生最终结果。在WIKIREADING部分数据集上，实验结果显示此框架可以比基础模型检索速度高出3.5到6.7倍。

机器翻译：Machine Translation

粗略统计，本届ACL有27篇机器翻译相关的论文（15篇长文+12篇短文）。我们总结了三大未来趋势，重点关注其中三个较有代表性方向的相关研究工作。

趋势一：神经网络机器翻译的进一步可视化，建立起神经网络内部向量数字和自然语言结构的关联，为神经网络翻译模型提供更有效的理解和调试工具。

趋势二：神经网络机器翻译模型框架的优化。最近的工作表明递归神经网络并不是神经网络机器翻译模型的惟一选择，Facebook最近的工作使用CNN全面替代RNN，Google更进一步只用前向神经网络+注意力机制，均取得了速度和翻译效果上的进步。如果找到一种在效果和可解释性上更优的模型框架，是未来的一个重要研究方向。

趋势三：解决更通用的翻译问题。虽然当前神经网络机器翻译方法和过去的统计机器翻译方法差异很大，但很多翻译问题是相通的，所以解决通用的翻译问题也是未来的一个研究趋势。比如如何在资源匮乏领域构建好的翻译模型，如何进行篇章级翻译，以及如何在当前词级别的神经网络翻译模型中进行短语的翻译？腾讯AI Lab最近接收的两篇EMNLP 2017论文对后两个问题进行了初步探索。

一、基于句法的翻译模型

本次会议中，有关如何在神经网络翻译模型中引入句法信息的工作共有8篇，是本届会议中机器翻译领域的一个重要方向。受过去统计机器翻译发展脉落（从基于字符串的翻译模型到基于句法树的翻译模型）的启发，来自不同单位的研究者探讨了各种引入句法信息的方式，包括引入源端句法树或目标端句法树，使用成分句法树或依存句法树及至浅层组块结构。

腾讯AI Lab研究员参与的两个研究[1-2]分别探索了从源端和目标端引入句法信息的可能性。第一个工作通过使用一种简单有效的方式将句法树转化为句法标签序列，在不更改序列到序列模型框架的条件下将源端句法信息引入神经网络翻译系统中。第二个工作则是在解码器端引入一个额外的组块层，通过限定每个组块短语中的所有词共用一个组块层状态及源端上下文向量，不仅引入了目标端的句法信息，同时以一种比较巧妙的方式引入“短语”翻译。

* [1] Modeling Source Syntax for Neural Machine Translation; [2]Chunk-Based Bi-Scale Decoder for Neural Machine Translation

二、神经网络的理解和可视化

神经网络机器翻译模型自2014年被提出以来，一个主要问题是神经网络结构及运行过程的不可解释性，让研究者无法根据翻译出现的问题对网络结构进行针对性改进设计，从而引发一个重要问题 - 当前神经网络模型无法保证将源端语义内容无损传递至目标端，让生成的译文流畅度较好但忠实度不足，比如遗漏翻译或过度翻译错误。