已经获得了所有候选项的表示，那么接着就是对所有候选项进行打分排序。本文中打分是采用问题的表示和候选项的表示计算内积的方式得到的，本文训练过程中没有采用常见于排序任务的Margin ranking loss，而是先用softmax对所有候选项计算一个概率值，然后采用交叉熵损失函数进行训练。

本文在SQuAD数据集上进行实验，提出的方法效果比之前两篇SQuAD相关paper的方法有较大的提升。

　　资源

1、SQuAD

https://rajpurkar.github.io/SQuAD-explorer/

　　相关工作

1、数据集相关论文

　　SQuAD: 100,000+ Questions for Machine Comprehension of Text

　　2、模型相关论文

　　MACHINE COMPREHENSION USING MATCH-LSTM

　　简评

在对文档和问题编码阶段，本篇论文提出的模型与之前mLSTM那篇paper有些相似。两篇论文中模型的主要区别在于：mLSTM那篇论文采用预测起始、终止位置的方法来确定答案，而本文则是先采用一些规则或Pattern的方法来抽取一些候选答案，然后再对候选答案进行排序。

　　联系方式

有DL或者NLP相关话题，欢迎讨论。[email protected]

　　3.Knowledge will Propel Machine Understanding of Content: Extrapolating from Current Examples作者

Amit Sheth, Sujan Perera, and Sanjaya Wijeratne

　　单位

Kno.e.sis Center, Wright State University Dayton, Ohio, USA

　　关键词

Semantic analysis of multimodal data，Machine intelligence,Understanding complex text，EmojiNet

　　文章来源

arXiv, 2016.10

　　问题

利用知识和多模态数据来解决特定情况下的复杂文本的深层理解问题

　　模型

1、现知识库在处理特定领域问题中的局限性及解决方法

　　（1）知识库的杂乱

　　解决方法：采用自动判别技术，领域知识库索引技术，利用实体和关系的语义去判别所给定知识库领域中的相关部分。

　　（2）知识库数据的不完备和不充足

　　解决方法：使用 human-in-the-loop模型在真实的临床数据和已有的知识库中去发现更多的实体与实体之间的关系。

　　（3）知识表示技术和推理技术的局限性

　　解决方法：在单个属性的表示中加入了三元组和软逻辑的解释能力及其相关概率值和理由。

2、新的研究应用

　　（1）隐实体链接

　　（2）表情符号语义消歧

　　（3）理解和分析web论坛中关于药物滥用的相关讨论

　　利用相关背景知识加强不同种类信息的信息抽取模型

3、在健康领域中的文本理解模型

4、使用感知器和文本资料了解城市交通情况

　　(1)交通领域的概念关系网模型

　　(2)概率图模型

使用领域知识关联不同模态下的上下文相关数据

　　简评

本文主要举例说明了知识将推动机器对内容的理解。总体来看本文像一篇综述性的文章，给出了在知识库创建过程中所遇到的问题的解决方案，同时以实际案例来阐述知识在我们实际问题中应用。

　　4.AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification作者

Depeng Liang and Yongdong Zhang

　　单位

Guangdong Province Key Laboratory of Computational Science, School of Data and

　　Computer Science, Sun Yat-sen University, Guang Zhou, China

　　关键词

ACNN; BLSTM; Text Classification

　　文章来源

arXiv, 2016.11

　　问题

本文提出了一个新的深度学习的模型–AC-BLSTM的模型（即：将ACNN和BLSTM组合在一起），用于句子和文章层面的分类。

　　模型

AC-BLSTM模型可以分成四个部分,如Figure 1所示：

　　1、输入: 输入是一个sentence，使用 ( L d )的矩阵表示，其中L表示句子中的L个词，d表示每个词的词向量的维度