|
问：行列组合生成 word embedding 的做法是否可以扩展为更高维，例如 3 维（行、列、层）的 Embedding Component 组合？感觉可以进一步压缩 Embedding 体积。 答：本文作者虽然也提到了这种可能性，即用 3 维的组合。但是我个人也不看好这种方法。实际上，我最近也在尝试用二维的组合方式来训练语言模型，模型非常难以收敛，只有一个好的词表分配方法才能使模型达到比较好的效果，而我们采用三维的组合方式，减少了模型的复杂度，会让模型更加难以训练。应该说，减少了模型的参数，很难说现实中有一种很好地词表组合方式，使模型训练的很好。 ? Text understanding with the attention sum reader network 论文链接 https://arxiv.org/abs/1603.01547 作者 Rudolf Kadlec, Martin Schmid, Ondrej Bajgar, Jan Kleindienst 单位 IBM Watson 关键词 Machine Reading Comprehension 文章来源 ACL2016 问题 针对 context—question-answer 数据集，使用注意力机制直接在原文本上获取问题的答案。网络结构简单， 计算量小，并取得 state of the art 的结果。 模型
Attention sum reader network 的核心思想是通过注意力机制的权重计算出哪个词为答案词汇。如上图所示，在使用 embedding 将文本和 query 中的词分别映射成向量之后，使用单层的双向 GRU 将文本中的词编码，每个 time step 两个方向编码的拼接来代表当前 time step 的词的向量。使用另一个单层双向 GRU 对 query 进行编码，两个方向最后一步输出拼接为 query 的编码向量。 将每一个词的向量表示与 query 的向量点积，之后归一化得到的结果作为每一个词的注意力权重，同时将相同词的权重合并。最后每个词的权重即为答案是这个词的概率，最大概率的词就是答案。在实际计算过程中，只选择了候选答案中的词进行计算，因此减少了计算量。 从结果上来看，论文发表时模型在 CNN/Daily Mail 和 CBT 的数据集上取得了 SOTA 的结果。 资源 [CBT dataset]
[AS Reader implementation] https://github.com/rkadlec/asreader 相关工作 Attentive and Impatient Reader 1. Teaching machines to read and comprehend 2. A Thorough Examination of the CNN / Daily Mail Reading Com- prehension Task Memory Networks The goldilocks principle: Reading children’s books with explicit memory representations Dynamic Entity Representation Dynamic Entity Representation with Max-pooling Im-proves Machine Reading Pointer Networks Pointer Networks 简评 1. 本文的模型相比于 Attentive Reader 和 Impatient Reader 更加简单，没有那么多繁琐的 attention 求解过程，只是用了点乘来作为 weights，却得到了比 Attentive Reader 更好的结果，从这里我们看得出，并不是模型越复杂，计算过程越繁琐就效果一定越好，更多的时候可能是简单的东西会有更好的效果。 2. 文中直接利用 attention 机制选择答案，模型就比较偏爱出现次数多的词，这就隐含了出现次数比较多的词作为答案的可能性大的假设，所以从根本上本文是基于 task 的研究而不是从理论出发的。 简评摘录于西土城的搬砖日常的[知乎文章](https://zhuanlan.zhihu.com/p/23462480#!)，这篇文章上还有详细的本论文相关模型的分析，推荐大家读一下。 完成人信息 实录 (责任编辑：本港台直播) |
