改变用于训练MT-LSTM的数据量表明，用更大的数据集进行训练会导致更高质量的MT-LSTM，在这种情况下，更高的质量意味着使用它来生成CoVe会在分类和问题应答任务上产生更好的性能。

结果表明，用较少的MT训练数据训练的MT-lstms所获得的增益是不显著的，在某些情况下，使用这些小MT数据集训练MT-lstm产量，实际上会损害性能。这可能表明使用CoVe的好处来自于使用不平凡的MT-lstm。这也可能表明，MT训练集的领域对产生的MT-lstm所提供的任务有影响。

图14：MT-LSTM的训练集大小对使用CoVe的模型的验证性能有明显的影响。在这里，MT-Small是2016年WMT多模态数据集，MT-Medium是2016年IWSLT训练集，MT-Large是2017年WMT新闻追踪训练集。

CoVe和字符

在这些实验中，我们尝试向GloVe和CoVe添加字符向量。结果表明，在某些任务中，字符向量可以与GloVe和CoVe一起工作，以获得更高的性能。这表明CoVe添加了与字符和单词级信息相辅相成的信息。

图15：CoVe与字符向量中存储的字符级信息互补。

测试性能

我们所有最好的模型都使用了GloVe、CoVe和字符向量。我们采用了为每个任务实现最高验证性能的模型，并在测试集上对这些模型进行了测试。上图显示，相较于我们在出发点的表现，添加CoVe始终可以提升我们的模型性能，下表显示，在我们七个任务中的其中三个里面，在测试集层面，足以推动我们的起始模式向艺术表现的最新状态发展。

表2：在测试时，测试性能与其他机器学习方法的比较（7/12/17）。

值得注意的是，就像我们使用机器翻译数据来改进我们的模型一样，sst-2和IMDb的最先进的模型也在使用监督训练集之外的数据。对于sst-2来说，顶级模型使用了8200万未标记的Amazon评论，而IMDb的顶级模型使用了50000个未标记的IMDb评论，此外还有22500个监督训练样本。这两种方法都增加了与目标任务相似的数据，而不是我们使用的机器翻译数据集。这些模型的优越性可能突出显示了附加数据的种类与附加数据的有益程度之间的联系。

结论

我们展示了如何训练一个神经网络，使其能够学习情境中单词的表征，并且我们展示了我们可以使用该网络的一部分——MT-LSTM，从而帮助网络学习NLP中的其他任务。在分类和问答模型中，MT-LSTM提供的情境向量或CoVe都无疑推动它们达到更好的性能。我们用于训练MT-LSTM的数据越多，改进越明显，这似乎与使用其他形式的预先训练向量表征所带来的改进相辅相成。通过将来自GloVe，CoVe和字符向量的信息相结合，我们能够在各种NLP任务中提高基准模型的性能。

代码发布

我们希望通过使用最好的MT-LSTM（我们曾用其为所有最好的模型生成CoVe）可以鼓励进一步探索NLP中的可重用表示。此代码包括如何在PyTorch中生成CoVe的示例。返回搜狐，查看更多