|
本次会议有两篇论文尝试理解及可视化神经网络模型，其中一篇ACL Outstanding Paper来自清华大学NLP组[1]，他们提出了一种新的可视化方法，通过计算神经网络中任意两个神经元之间的相关性，为分析、理解和调试神经网络机器翻译提供了可能性。 [1] Visualizing and Understanding Neural Machine Translation
另一篇论文[2]则通过外在词性和形态标注任务来评判通过不同粒度方法训练得到的词语表示，分析神经网络翻译模型对词语的理解能力。 [2]What do Neural Machine Translation Models Learn about Morphology? 三、神经网络结构的改进 本次会议同样有多篇工作尝试对当前神经网络结构进行改进，其中三篇工作比较有代表性： 1、A Convolutional Encoder Model for Neural Machine Translation 在编码器端使用卷积神经网络（CNN）代替主流的递归神经网络（RNN），在效果相当的前提下速度提升近2倍。
2、Deep Neural Machine Translation with Linear Associative Unit 为当前主流的非线性Gating RNN（比如LSTM或GRU）提供了一种线性的可能替代（Linear Associative Unit），在深层神经网络中取得了较好效果。
3、Neural Machine Translation via Binary Code Prediction 通过将时间消耗最大的词汇表归一化过程（Softmax）替换为高效的二进制预测（Binary Code Prediction）问题，可极大提高翻译模型的训练和解码速度以及内存消耗。
信息抽取 Information Extraction 信息抽取主要是指从文本中自动抽取特定目标信息的技术。本次ACL大会有关信息抽取论文共计20多篇，涵盖实体识别、事件抽取、关系抽取、三元组抽取等多个具体任务，其中模型大部分还是以神经网络为主，但方法各有特点。我们从几个领域里分别选取了一篇代表性文章进行解读： 1、Deep Pyramid Convolutional Neural Networks for Text Categorization 该篇论文由腾讯AI Lab和RJ Research Consulting合作完成，主要介绍了一种轻量级的词级别深度卷积网络。该模型能有效捕捉文本的全局语义信息，并能在神经网络层数增加的前提下保证计算量不变。该模型在六个分本分类（主题分类和情感分类）的公开数据集中取得目前最优的结果。
2、Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme 该论文是腾讯AI Lab研究员在中科院自动化所读博期间发表的三元组抽取工作，入选ACL了2017 Outstanding Papers。该论文提出了一种新型的标记策略，通过设计特殊标签可有效关联词语与三元组之间的关系。因此，基于此标记策略，成功地把三元组抽取问题转换为序列标注问题，提出了一种端对端的序列标注模型用于三元组抽取。
3、Exploiting Argument Information to Improve Event Detection via Supervised Attention Mechanisms 该论文是腾讯AI Lab研究员在中科院自动化所读博期间研究的事件抽取工作，提出了一种直接应用角色信息做事件识别的方法，基本思想是在事件识别过程中重点关注事件的角色词。作者为此提出了一个基于神经网络的事件识别模型，并通过有监督的关注机制实现上述目标。
4、A Local Detection Approach for Named Entity Recognition and Mention Detection 该论文针对命名实体识别任务提出了一种新颖的解决方式，并入选ACL 2017 Outstanding Papers。传统的命名实体识别方法是将该任务转换为一个序列标注的问题，本文不再从序列标注的角度出发，而是采用一种对输入文本中的文本片段分类的方式识别实体。该论文通过固定窗口的方式获得输入文本中的各片段，然后利用片段的上下文背景信息及片段本身信息对片段进行实体分类。该方法在几个公开的实体识别数据中获得了最优结果。此外，相比于序列标注的方式，该方法可以有效解决重叠实体的问题。 关于腾讯 AI Lab NLP团队 (责任编辑：本港台直播) |
