|
本文提供了一种测试语言模型效果的测试方法，这对于语言模型的评判做出了贡献。在做实验过程中，作者还发现在单层记忆表示中文本被编码的数量对结果有很大的影响：存在一个范围，使得单个词信息和整个句子的信息都得以较好的保留。 Key-Value Memory Networks for Directly Reading Documents作者 Alexander H. Miller, Adam Fisch, Jesse Dodge, Amir-Hossein Karimi, Antoine Bordes, Jason Weston 单位 Facebook AI Research Language Technologies Institute, Carnegie Mellon University 关键词 Memory Networks, Key-Value, Question Answering, Knowledge Bases 文章来源 arXiv 2016 问题 鉴于知识库有知识稀疏、形式受限等问题，本文提出了一种可以通过直接读取文档来解决QA问题的新方法Key-Value Memory Networks。 模型 如下图所示，Key-Value Memory Networks(KV-MemNNs)模型结构与End-to-end Memory Networks(MemN2N)基本相同，区别之处在于KV-MemNNs的寻址（addressing）阶段和输出阶段采用不同的编码（key和value）。 本文主要提出了以下几种Key-value方法： 1、KB Triple 针对知识库中的三元组(subject, relation, object),将subject和relation作为Key，object作为Value。 2、Sentence Level 将文档分割成多个句子，每个句子即作为Key也作为Value，该方法与MemN2N相同。 3、Window Level 以文档中每个实体词为中心开一个窗口，将整个窗口作为Key，中间的实体词作为Value。 4、Window + Center Encoding 该方法与Window Level基本相同，区别之处在于中心实体词与窗口中的其他词采用不同的Embedding。 5、Window + Titile 很多情况下文章的题目可能包含答案，因此在上述提出的Window方法基础上，再添加如下Key-value对：Key为窗口，Value为文档对应的title。 本文为了比较使用知识库、信息抽取和直接采用维基百科文档方法之间的效果，构建了新的语料WIKIMOVIES。实验结果表明，KV-MemNNs直接从文档读取信息比信息抽取方法的效果好，却仍比直接利用知识库的方法差不少。其中几种Key-Value方法中，“Window + Center Encoding”方法效果最好。此外，本文还在WikiQA上进行实验，验证了KV-MemNNs的效果。 资源 [WikiQA](https://www.microsoft.com/en-us/download/details.aspx?id=52419) [WikiMovies](https://research.facebook.com/research/babi/) 简评本篇论文提出了一个在新的Memory Networks变体Key-Value Memory Networks，旨在探索在QA过程中，如何消除采用知识库和自由文本（维基百科）之间的效果差距（gap），并为此构建了一个新的数据集WikiMovies。 总结 长程记忆（long-term memory）问题一直是深度学习中的一个难点，Attention机制就是解决这一问题的经典方法。本文介绍的几篇Memory Networks试图通过构建长期存储记忆组件来解决过去神经网络无法存储过长内容的问题。如何存储大量的外部信息以及如何利用这些外部信息推断是Memory Networks乃至很多NLP任务的难点。本期引入的这几篇论文中，Memory Networks提出了一个整体的框架，End-To-End Memory Networks使memory networks可以端到端的训练学习。Key-Value Memory Networks主要解决外部信息如何存储表示，而THE GOLDILOCKS PRINCIPLE这篇论文则在推理方面有所创新，直接利用attention的打分来预测答案。目前深度学习方法中，无论是存储更新长期记忆的方法还是结合长期记忆进行推理的方法都还很初级，仍需诸君努力前行。 以上为本期Paperweekly的主要内容，感谢cain、destinwang、zeweichu、chunhualiu等四位同学的整理。 广告时间 PaperWeekly是一个分享知识和交流学问的学术组织，关注的领域是NLP的各个方向。如果你也经常读paper，也喜欢分享知识，也喜欢和大家一起讨论和学习的话，请速速来加入我们吧。 微信公众号：PaperWeekly 微博账号：PaperWeekly（） 微信交流群：微信+ zhangjun168305（请备注：加群 or 加入paperweekly） (责任编辑：本港台直播) |