本论文的目标是获得词向量序列的实数值，并学习沿特征向量相关的词序列的联合概率函数，从而学习实数值向量的表征和参数的概率分布。

概率函数可以调整而最大化训练数据的对数似然性，同时惩罚成本函数的方法与 Ridge 回归所使用的罚项一样。

这将确保语义相似的词最终具有几乎相等的特征向量，这称为学习分布特征向量。

对离散型变量建模，如将句子结构和连续值做对照，连续型函数可以假设其存在某些形式的局部性，但相似的假设不能在离散型函数中存在。

N-gram 模型通过计算每一个词（可以跟随一组 n 个预测词）的条件概率而实现对语言的概率建模。

可以通过将流行算法有效组合而生成新的词序列。如 n-grams 和超高的词频计数相结合。

　　8 层级概率神经网络语言模型（Hierarchical Probabilistic Neural Network Language Model）

目标：在训练和识别期间，实现条件概率的层次结构分解能得到约为 200 的加速。层次结构分解是从 WordNet 语义层次结构提取且有先验知识约束的二元层级层级聚类（Morin and Bengio, 2005）。https://wordnet.princeton.edu/

描述：

与上一篇论文相似，该论文尝试解决「维度灾难（curse of dimensionality，第 7 节）」，并尝试产生一个更快的变体。

Back-off n-grams 是用来学习表征每一个词的实值向量。

所学习的词嵌入在分布式架构中所有参与的节点之间共享。

整个模型非常重要的组成部分是选择词的二值编码，即分层词聚类的选择。在本论文中，作者们将经验统计和 WordNet 资源的先验知识

　　9 一种用于段落和文档的层次神经自编码器（A Hierarchical Neural Autoencoder for Paragraphs and Documents）

目标：试图根据基本的词嵌入和句子嵌入来构建段落嵌入，然后基于编码该段落嵌入以试图重构原段落（Li et al., 2015）。

描述：

该实现使用了一个 LSTM 层来将词转换成句子的向量表示。一个后续的 LSTM 层将多个句子转换成一个段落。

为了实现这一点，我们需要在创建嵌入表示时保留句法、语义和对话的相关属性。

使用了层次 LSTM 来保存句子结构。

使用给定输入的输出的最大化似然来评估参数，类似于标准的序列到序列模型。

评估是使用 softmax 函数计算的，以最大化组成词的似然。

使用层次自编码器的注意（attention）模型可用于对话系统，因为其为对话进行了明确的建模。

　　10 在连续空间词表征中的语言规律（Linguistic Regularities in Continuous Space Word Representations）

目标：在本论文中，作者调查了被输入层权重明确学习到的向量空间词表征。这些表征非常擅长得到语言中的句法和语义规律，而且每一个关系都可以使用一个关系特定的向量偏移（vector offset）来特征化。这允许基于词之间的偏移（Mikolov et al., 2013c）来实现向量导向的推理。这是导致了 Word2Vec 的诞生的创新论文之一，这是一种当前最佳的词嵌入工具（Mikolov et al., 2013a）。

描述：

神经网络语言模型的一个定义特征是它们的词表征，是高维的实值向量（real-valued vector）。

在这个模型中，词被一些学习到的查找表（lookup-table）转换成实值向量，这些向量被用作一个神经网络的输入。

这些模型的一个主要优势是其分布式表征实现了一定水平的泛化，而使用经典的 n-gram 语言模型是不可能办到的。

本论文中的词表征是通过一个循环神经网络语言模型学习到的。

输入向量 w(t) 表示在时间 t 的输入词，使用了 1-of-N 编码，输出层 y(t) 可以得到词上面的一个概率分布。隐藏层 s(t) 维持一个对其句子历史的表征。输入向量 w(t) 和输出向量 y(t) 具有和词汇表一样的维度。

隐藏层和输出层的值通过如下方式计算：

图 1：RNN 语言模型