|
本期PaperWeekly将带着大家来看一下ICLR 2017的六篇paper，其中包括当下非常火热的GAN在NLP中的应用，开放域聊天机器人如何生成更长更丰富的回答，如何用强化学习来构建树结构的神经网络和层次化的记忆网络等内容。六篇paper分别是： 1、A SELF-ATTENTIVE SENTENCE EMBEDDING 2、Adversarial Training Methods for Semi-Supervised Text Classification 3、GENERATING LONG AND DIVERSE RESPONSES WITH NEURAL CONVERSATION MODELS 4、Hierarchical Memory Networks 5、Mode Regularized Generative Adversarial Networks 6、Learning to compose words into sentences with reinforcement learning A SELF-ATTENTIVE SENTENCE EMBEDDING作者 Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou & Yoshua Bengio 单位 IBM Watson Universit´e de Montr´eal 关键词 self-attention, sentence embedding, author profiling, sentiment classification, textual entailment 文章来源 ICLR 2017 问题 本文提出一种在没有额外输入的情况下如何利用attention来提高模型表现的句子表示方法。 模型 本文提出的模型结构分为两部分， 1、BLSTM 这部分采用双向LSTM对输入的文本进行处理，最后得到BLSTM的所有隐层状态H。 2、Self-attention mechanism 同attention机制类似，我们需要计算一个权重向量a，然后通过对隐层状态H加权求和得到句子的表示向量。这个过程如下公式所示： 但是实际任务中，我们通常可能会对一个句子语义的多个方面感兴趣，因此我们可以通过下面的公式，获得多个权重向量组成的矩阵A。 然后每一个权重向量a都可以得到一个句子表示向量v，所有句子表示向量组合在一起就可以获得句子表示矩阵M。 本文的模型在author profiling, sentiment classification和textual entailment三个任务上进行验证，都取得了较好的效果。 资源 1、Yelp 2、 SNLI 相关工作 1、A large annotated corpus for learning natural language inference 简评 本文提出的self-attention方法用一个matrix表示一个句子，并且matrix中的每一个vector都是句子语义某一方面的表示，增强了sentence embedding的可解释性。 Adversarial Training Methods for Semi-Supervised Text Classification作者 Takeru Miyato, Andrew M. Dai, Ian Goodfellow 单位 Google Brain, Kyoto University和OpenAI 关键词 Adversarial training, text classification, semi-supervised learning 文章来源 ICLR 2017 问题 Adversarial training和virtual adversarial training都需要对输入的数字形式做小的perturbation，不适用于高维稀疏输入，比如one-hot word representations。文章扩展图像领域流行的这两种方法到文本领域，对word embedding进行perturbation来作为LSTM的输入，取代原本的输入向量。可以把这两种方法看做是正则化的方法，为输入加入噪声，可以用来实现semi-supervised的任务。 模型 以adversarial training为例，文章对word embeddings进行adversarial perturbation，而不是直接应用在输入上。假设normalized之后的输入序列为s，给定s，y的条件概率为p(y|s;theta)，其中theta为模型参数，则s上的adversarial perturbation r_adv为： 应用在LSTM上，如下图(b)所示。定义其adversarial loss如下：
其中N为labeled的例子的数目。通过随机梯度下降来进行training。 文章也提供了virtual adversarial training的方法。 资源 1、IMDB 2、Elec 3、Rotten Tomatoes 相关工作 主要列三篇work： 1、2015年NIPS, SA-LSTM。Semi-supervised sequence learning 2、2015年NIPS，One-hot CNN。Semi-supervised convolutional neural networks for text categorization via region embedding 3、2016年ICML，One-hot bi-LSTM。Supervised and semi-supervised text categorization using LSTM for region embeddings 简评 (责任编辑：本港台直播) |
