腾讯AI Lab NLP 团队首次曝光，张潼、俞栋带队解读ACL三大前沿

2017-08-04 13:18 来源:新智元 操作系统 /腾讯

原标题：腾讯AI Lab NLP 团队首次曝光，张潼、俞栋带队解读ACL三大前沿

1新智元推荐

来源：腾讯 AI Lab

【新智元导读】本文将深度解析2017ACL热门研究。文章第一部分是三大前沿领域重点文章解析，包括信息抽取、问答系统和机器翻译等。第二部分是ACL简介及腾讯自然语言处理（NLP）团队首次曝光。

腾讯 AI Lab去年四月成立，今年是首次参展ACL，共计三篇文章被录取，位居国内企业前列。此次团队由实验室主任张潼博士与副主任俞栋博士共同带领到现场交流学习。

上图：腾讯AI Lab主任张潼博士现场演讲座无虚席

下左图：参与ACL的团队；下右图：现场论文展示

从研究领域和前沿思考出发，我们重点关注了三大领域的前沿研究，以下为重点论文评述。

以下论文均可在官网下载：

问答系统 Question Answering System

随着人工智能的发展，图灵测试受到越来越多的挑战，问答系统（QA）就是其中一个尝试：试图让机器用准确、简洁的语言回答用户提出的自然语言问题。近年来，基于神经网络的问答系统已成主流。在本届ACL，知识问答系统（KBQA）及检索式问答系统（IRQA）也继续在神经网络模型基础之上有新突破：一方面在知识问答系统中，在解决问题表示以及答案生成任务时，基于端到端神经网络模型被进一步优化；另一方面，检索式问答系统中，针对小规模文档精确检索以及针对大规模文档快速检索，有了新尝试和突破。

一、知识问答系统

1、An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge

基于神经网络的知识问答系统已取得瞩目成绩，然而传统神经网络方法在进行问句表示的同时，并没有考虑答案对其影响。这篇中科院和百度合作完成的文章中，作者提出了一种基于端到端的神经网络模型，特别地利用交叉注意力机制对问句和答案进行互相关注。一方面利用答案信息动态地进行问句表示，使得问句表示更加灵活充分；另外一方面也根据问题对答案不同方面的不同关注，对问句答案得分进行不同权重表示。此外，知识库全局知识被进一步引入用来训练Embedding并扩展词表，从而充分捕捉到知识库的全局结构信息，并缓解了传统模型中的词表溢出问题。在公开的数据集WebQuestions上，实验证明该方法能有效提升端到端模型实验性能。

2、Generating Natural Answers by Incorporating Copying and Retrieving Mechanisms in Sequence-to-Sequence Learning

如何让知识问答系统生成自然语言形式的答案目前仍是一大挑战，中科院发表的这篇文章给出了一种可融入外部知识库的端到端神经网络模型。为给出一个自然的答案，此模型使用了端到端的语言模型。同时为引入外部知识库，而引入了检索机制。针对需要结合多个事实回答的复杂问句，模型用三种不同模式获取词汇并进行选取：用拷贝方式取得问句中的实体、用预测方式产生让答案更自然的连接词、用检索方式获取相关事实并结合多个相关事实产生复杂问句的自然形式的答案。论文分别在模拟数据集和真实数据集上进行了模型检验，在自动评估和人工评估上都证实了其模型超出其他传统端到端模型。

二、检索式问答系统

1、Gated Self-Matching Networks for Reading Comprehension and Question Answering

检索式问答系统试图从文档中获取问题的答案。一般步骤是先从一众文档中检索相关文档，然后再进一步检索出相关篇章。由北大和微软合作发表的这篇文章重点解决后面一步，即阅读理解式的问答系统。文章基于端到端的多层神经网络模型从篇章中获取答案。

模型分为四部分：一是使用多层双向神经网络编码问题和篇章的语义向量表示；二是使用门注意力机制得到问题感知的篇章的语义向量表示；三是通过Self-Matching注意力机制提炼篇章的语义向量表示，从全部篇章中编码最终语义向量表示；四是利用Pointer-network来预测答案边界，从而得到最终答案。在Stanford发布的机器阅读理解比赛数据集SQuAD上，本文提出的模型的单模型和集成模型结果都分别排名第一。

2、Coarse-to-Fine Question Answering for Long Documents