当下，直播，端到端的神经网络模型已经可以在对话系统中产生十分自然的对话内容。可是，现有的神经网络对话模型仍存在着一个问题：如下图，对于一个用户的输入，现有的系统无法考虑对话外部事实信息或者用户对于实体的观点，这样使其产生的对话内容十分样式化，不能产生在特定任务下很好的对话。

　　不同于现有模型通过填空的方式考虑外部事实，本文提出了一个完全数据驱动的模型来生成带有知识的对话内容。该模型是现有端到端神经网络模型的一个扩展，通过选择基于外部事实或者对话历史所产生对话内容，使得其可以应用于开放领域。

　　模型

　　完全数据驱动的带有知识的对话模型如下图所示：

它拥有一个世界事实的集合（定义为一个索引为以实体名字的纯文本集合）。

给定对话系统的历史内容或者输入的源句子S，该模型通过如关键词匹配或者其他更先进的技术（如实体链接和命名实体识别）从S中选择出关注点（一个或者多个实体）来作为链接事实的查询值。

该模型使用查询值从世界事实的集合中选择出和本次对话相关的事实集合

该模型对话系统的历史内容或者输入的源句子S输入到对话的encoder中，将相关事实集合输入到事实的encoder中，最后对两个encoder输出的状态输入到decoder中产生最终的对话内容。

　　下面是详细介绍模型的encoder和decoder

　　1. 对话的decoder和encoder采用的是RNN，RNN的单元选择的是GRU

　　2. 事实的encoder和MemoryNetwork的结构十分相似，包含一个储存事实的辅助memory。具体来说，给定一个输入的句子和一个和对话历史相关的事实集合，一个RNN encoder首先逐词读入输入的句子对隐状态进行更新产生输入句子的表示u。这里我们令ri为事实fi的词袋表示，那么我们有：

　　其中为模型的参数，公式5为最终输出。

　　它通过多任务学习进行学习，包括：

NOFACTS task：使用传统的对话系统的训练问答对进行学习，不学习模型中事实 encoder 的部分

FACTS task：使用其他任务包含事实集合的问答对对整个模型进行学习。

AUTOENCODER task：和FACTS task非常相似，将其训练问答对的回答内容进行替换得到，目标在于使得对话内容更具有意义。

　　进行多任务学习的优点是利用传统对话系统的数据进行预训练，atv直播，而且还能够综合利用不同任务的训练数据。

　　实验

　　本文在两个常用的社交网络数据Twitter和Foursquare上进行了分别对比了以下模型的实验：

SEQ2SEQ：用23M标准对话数据训练的端到端模型

MTASK：用23M标准对话数据和1M的事实对话数据（不使用中间的事实）对NOFACTS task进行训练的模型

MTASK-R：用23M标准对话数据进行NOFACTStask训练，用1M事实对话数据进行FACTS task训练的模型

MTASK-F：用23M标准对话数据进行NOFACTStask训练，用1M事实对话数据进行AUTOENCODER task训练的模型

MTASK-RF：用23M标准对话数据进行NOFACTStask训练，用1M事实对话数据进行FACTS task和AUTOENCODER task训练的模型

　　实验结果如下：

　　文中还进行了case study对MTASK-RF的效果进行了讨论，认为该模型不仅可以给出比较常规的回答，还能够让回答更有意义。

　　比如，在第一句回答里包含了两个部分：

　　1. 比较样式化的“have a safe flight”；

　　2. 考虑了飞机场的背景知识后作出的评价“nice airport terminal”。

　　本文也同时也指出模型仍存在一些问题。