文中的实验结果表明，与 DeepMatch、WordEmbed（即直接累加 word vector 得到 sentence vector）、SENNA+MLP 等模型相比，ARC-I 和 ARC-II 都明显提升了文本语义匹配效果，其中 ARC-II 又明显优于 ARC-I。文中的实验还表明，WordEmbed 作为一种简单的处理方法，通常也能得到不错的匹配效果。

6. Lei Yu, et al., 2014, Deep Learning for Answer Sentence Selection

这篇文章出自 University of Oxford 和 DeepMind，提出基于 unigram 和 bigram 的语义匹配模型，其中，unigram 模型通过累加句中所有词（去掉停用词）的 word vector，然后求均值得到句子的语义向量；bigram 模型则先构造句子的 word embedding 矩阵，接着用 bigram 窗口对输入矩阵做 1D 卷积，然后做 average 池化，用 n 个 bigram 卷积核对输入矩阵分别做「1D 卷积 + average 池化」后，会得到一个 n 维向量，作为文本的语义向量。文中提出的基于 CNN 的文本语义表示模型如下图所示。

对 (question,answer) 文本分别用上述 bigram 模型生成语义向量后，计算其语义相似度并用 sigmoid 变换成 0~1 的概率值作为最终的 matching score。该 score 可作为监督信号训练模型。

文中用 TREC QA 数据集测试了提出的 2 个模型，实验结果的 MAP 和 MRR 指标表明，unigram 和 bigram 模型都有不错的语义匹配效果，其中 bigram 模型要优于 unigram 模型。特别地，在语义向量基础上融入 idf-weighted word co-occurence count 特征后，语义匹配效果会得到明显提升。文中还将提出的 unigram 和 bigram 模型与几个已有模型进行了效果对比，结果表明在同样的数据集上，融入共现词特征的 bigram 模型达到了 SOTA 的效果。

7. Aliaksei Severyn, et al., 2015, Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks

这篇文章出自 University of Trento (in Italy)，是在上述第 6 篇 Paper 基础上做的改进工作，也是用 CNN 模型对文本进行语义表示。与第 6 篇文章提出的 unigram 和 bigram 模型相比，本文的改进点包括：1）使用 n-gram 窗口，可以捕捉更长的上下文语义；2）将 query 和 document 的语义向量及其相似度拼接成新的特征向量输入 MLP 层进行 learning to rank；3）可以在 learng2rank 模型的输入向量中方便地融入外部特征；4）支持 end-to-end 的 matching + ranking 任务。模型结构如下图所示。

上述模型的逻辑很直观：先分别对 query 和 document 做 wide 1D 卷积和 MAX 池化，得到文本的语义向量，接着通过 M 矩阵变换得到语义向量的相似度，然后把 query 语义向量、query&document 的语义相似度、document 语义向量、外部特征拼接成 n 维向量，输入一个非线性变换隐层，最终用 softmax 做概率归一化。用 softmax 的输出作为监督信号，采用 cross-entropy 作为损失函数进行模型训练。

文中使用 TREC QA 数据集进行了实验，并与第 6 篇 Paper 的模型做了对比，结果表明，本文的模型在 MAP 和 MRR 指标上效果提升显著，达到了新的 SOTA 效果。此外，为测试模型的 reranking 效果，文中还用 TREC Microblog 数据集做了另一组实验，结果表明本文模型比已有模型有明显效果提升。

8. Ryan Lowe, et al., 2016, The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems

这篇文章出自 McGill 和 Montreal 两所大学，针对基于检索的多轮对话问题，提出了 dual-encoder 模型对 context 和 response 进行语义表示，该思路也可用于检索式问答系统。Dual-encoder 模型结构如下图所示。

该模型思路直观：通过对偶的 RNN 模型分别把 context 和 response 编码成语义向量，然后通过 M 矩阵变换计算语义相似度，相似度得分作为监督信号在标注数据集上训练模型。

文中在 Ubuntu 对话语料库上的实验结果表明，dual-encoder 模型在捕捉文本语义相似度上的效果相当不错。

总结

从上面 8 篇论文可知，与关键词匹配（如 TF-IDF 和 BM25）和浅层语义匹配（如隐语义模型，词向量直接累加构造的句向量）相比，基于深度学习的文本语义匹配模型在问答系统的匹配效果上有明显提升。

关于 PaperWeekly