原文来源：https://einstein.ai/

作者：Bryan McCann

「机器人圈」编译：嗯~阿童木呀

导览：CRM 厂商 Salesforce 在去年成立新单位 Salesforce Research，专门处理关于深度学习、自然语言处理，和计算机视觉辨识技术的研究，协助用在 Salesforce 的产品线上。其人工智能服务爱因斯坦AI （Einstein AI），将与他们既有的云端服务结合，提供更好的服务。最近，他们发布了最新的自然语言处理成果，我们一起来看看。

现如今，自然语言处理（NLP）找到一个很好的实现方法，通过对单个单词的理解以植入新的神经网络，但是该领域还没有找到一种方法可以初始化新网络，理解这些单词与其他单词之间的关系。我们的研究打算利用已经学会了如何使文本情境化的网络，从而使新的神经网络能够学习理解自然语言的其他部分。

对于NLP中的大多数问题来说，理解情境至关重要。翻译模型需要了解英语句子中的单词是如何协同工作的，从而生成德语翻译。摘要模型需要通晓上下文，从而知道哪些词是最重要的。执行情绪分析的模型需要了解如何能够掌握那些改变他人表达情绪的关键词。问答模型依赖于对一个问题中的词语如何改变一个文档中词语重要性的理解。由于这些模型中的每一个都需要理解情境是如何影响单词的含义的，因此每个模型都可以通过与已经学习如何情境化单词的模型相结合来获益。

一条通往NLP Imagenet-CNN的路径

在找寻可重复使用的表征方面，显然计算机视觉已经比NLP取得了更大的成功。在大图像分类数据集（ImageNet）上训练的深度卷积神经网络（CNN）经常用作其他模型中的组件。为了更好地对图像进行分类，CNN通过逐渐构建像素是如何与其他像素相关的更为复杂的理解，来学习图像的表征。诸如图像标注、面部识别和目标检测等模型处理任务都可以从这些表征开始，而不需要从头开始。NLP应该能够做一些和单词及其语境类似的事情。

我们可以教一个神经网络如何在情境中理解单词。首先，教它如何将英语翻译成德语；然后，我们将以一种方式来展示我们可以重复使用这个网络，即计算机视觉中在ImageNet上进行训练的CNN的重用。我们通过将网络的输出，即情境向量（context vectors (CoVe)）作为学习其他NLP任务的新网络的输入来实现。在我们的实验中，将CoVe提供给这些新网络总是能够提高其性能，所以我们很高兴发布生成CoVe的已训练网络，以便于进一步探索NLP中的可重用表征。

词向量

可以说今天的大多数用于NLP的深度学习模式主要是依靠用词向量来表征单个单词的含义。而对于那些不熟悉这个概念的人来说，所有这一切只不过意味着我们将语言中的每个单词与一个称为向量的数字列表相关联在一起。

图1：在深度学习中，直播，常常将单词表征为向量。深度学习模型不是像读文本般读取序列单词，而是读取单词向量的序列。

预训练词向量

有时，在为特定任务训练模型之前，常常将词向量初始化为随机数列表，但是用诸如word2vec、GloVe或FastText之类的方法来初始化模型的词向量也是很常见的。这些方法中的每一种都定义了一种学习具有有用属性的词向量的方法。前两种假说认为，至少有一部分单词的含义与它的用法是相关的。

word2vec通过训练一个模型来处理一个单词并预测一个本地情境窗口；模型看到一个单词，并试图预测在其周围的单词。

图2：像word2vec和GloVe这样的算法产生的词向量与在自然语言中经常出现的词向量是相关的。这样一来，“（vector）向量”的向量意味着出现在诸如“lists”、“of”以及“numbers”这类单词周围的单词“vector”。

GloVe采取类似的方法，但它还明确地添加了关于每个单词与其他每个单词发生频率的统计信息。在这两种情况下，每个单词都由相应的词向量表示，并且训练强制词向量以与自然语言中单词的使用相关联的方式相互关联。

预训词向量的突现属性

如果将这些词向量视为空间中的点，我们可以从中看到一种令人着迷的紧密关系，从而让人联想到单词之间的语义关系。

图3：捕获到的男性—女性单词对之间的向量差异（Pennington等人在2014提出的观点）。

图4：对于关系a-b，c：d表示c +（a-b）产生最接近d的向量（Mikolov等人于2013年提出观点）。

图5：捕获到的比较和最高级关系之间的向量差异（Pennington等人于2014提出的观点）。