DCC 模型能够描述多个未见过的物体类别，开奖，而将参数从一个物体复制到另一个物体可以创造符合语法的句子，如物体「网球拍」，模型从「网球」复制权重至「网球拍」，生成句子如「一个男人在球场打网球拍」。在我们近期的工作 [2] 中，我们直接将词嵌入纳入我们的语言模型。具体来说，我们在语言模型的输入和输出中使用 GloVe 嵌入。这使得该模型在描述未见过的物体时悄悄地捕捉语义相似度，进而生成句子，如「一个网球运动员挥舞球拍击球」。另外，直接将词嵌入纳入网络使我们的模型可以进行端到端的训练。

将密集词嵌入纳入语言模型以捕捉语义相似度。

字幕模型和神经网络中的遗忘问题

我们将视觉网络的和语言模型的输出与字幕模型联合起来。该模型与现有的 ImageNet 预训练字幕模型相似。但是，我们观察到尽管该模型在 ImageNet 上接受预训练，当该模型在 COCO 图像-字幕对数据集上进行训练/微调时，它倾向于遗忘之前见过的物体。蒙特利尔和 Google DeepMind 的研究者也观察到了神经网络中的遗忘问题。我们在研究中，使用联合训练策略可以解决遗忘问题。

在不同的数据/任务上共享参数、联合训练，以克服「遗忘」问题

具体来说，我们的工作包含三个部分：一个视觉识别网络、一个字幕模型和一个语言模型。这三个部分共享参数，共同训练。在训练过程中，每一批输入包含部分带标注的图像、一系列图像-描述对，以及部分句子。这三种输入训练网络的三个部分。由于三个部分共享参数，所以该网络接受联合训练，以识别图像中的物体、生成图像字幕和句子。联合训练帮助该网络克服遗忘问题，使模型能够对很多新的物体类别生成描述。

未来会怎样？

我们的模型中最常见的一个错误是无法识别物体，一种缓解方式是使用更好的视觉特征。另一个常见错误是生成的句子不够流畅（A cat and a cat on a bed）或不符合「常识」（如：「A woman is playing gymnastics」不完全正确，因为一个人无法「play」gymnastics，动词搭配不当）。提出这些问题的解决办法应该会很有趣。尽管我们在该研究中提出把联合训练作为克服遗忘问题的策略，但是在大量不同任务和数据集上训练模型并不总能够实现。另一种解决方法是构建一个基于视觉信息和物体标签生成描述的模型。这样的模型还能够在计算机运行中集成物体，即当我们在选中的物体集合上对模型进行预训练时，我们还应该思考如何渐进地在具备新概念的新数据上训练模型。解决这些问题可以帮助研究者开发出更好、更鲁棒的视觉描述模型。

原文地址：