通过将时间消耗最大的词汇表归一化过程（Softmax）替换为高效的二进制预测（Binary Code Prediction）问题，可极大提高翻译模型的训练和解码速度以及内存消耗。

四、三大趋势总结

趋势一：神经网络机器翻译的进一步可视化，建立起神经网络内部向量数字和自然语言结构的关联，为神经网络翻译模型提供更有效的理解和调试工具。

趋势二、神经网络机器翻译模型框架的优化。最近的工作表明递归神经网络并不是神经网络机器翻译模型的惟一选择，Facebook最近的工作使用CNN全面替代RNN，atv，Google更进一步只用前向神经网络+注意力机制，均取得了速度和翻译效果上的进步。如果找到一种在效果和可解释性上更优的模型框架，是未来的一个重要研究方向。

趋势三、解决更通用的翻译问题。虽然当前神经网络机器翻译方法和过去的统计机器翻译方法差异很大，但很多翻译问题是相通的，所以解决通用的翻译问题也是未来的一个研究趋势。比如如何在资源匮乏领域构建好的翻译模型，如何进行篇章级翻译，以及如何在当前词级别的神经网络翻译模型中进行短语的翻译？腾讯AI Lab最近接收的两篇EMNLP 2017论文对后两个问题进行了初步探索。

信息抽取

Information Extraction

信息抽取主要是指从文本中自动抽取特定目标信息的技术。本次ACL大会有关信息抽取论文共计20多篇，涵盖实体识别、事件抽取、关系抽取、三元组抽取等多个具体任务，其中模型大部分还是以神经网络为主，但方法各有特点。我们从几个领域里分别选取了一篇代表性文章进行解读：

1、Deep Pyramid Convolutional Neural Networks for Text Categorization

该篇论文由腾讯AI Lab和RJ Research Consulting合作完成，主要介绍了一种轻量级的词级别深度卷积网络。该模型能有效捕捉文本的全局语义信息，并能在神经网络层数增加的前提下保证计算量不变。该模型在六个分本分类（主题分类和情感分类）的公开数据集中取得目前最优的结果。

2、Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

该论文是腾讯AI Lab研究员在中科院自动化所读博期间发表的三元组抽取工作，入选ACL了2017 Outstanding Papers。该论文提出了一种新型的标记策略，通过设计特殊标签可有效关联词语与三元组之间的关系。因此，基于此标记策略，成功地把三元组抽取问题转换为序列标注问题，提出了一种端对端的序列标注模型用于三元组抽取。

3、Exploiting Argument Information to Improve Event Detection via Supervised Attention Mechanisms

该论文是腾讯AI Lab研究员在中科院自动化所读博期间研究的事件抽取工作，atv，提出了一种直接应用角色信息做事件识别的方法，基本思想是在事件识别过程中重点关注事件的角色词。作者为此提出了一个基于神经网络的事件识别模型，并通过有监督的关注机制实现上述目标。

4、A Local Detection Approach for Named Entity Recognition and Mention Detection