参与：Jane W，吴攀

印度理工学院 Akshay Kumar Gupta 近日发布了一篇论文，对视觉问答方面的数据集和技术进行了盘点和比较。机器之心对本文内容进行了摘要式的编译介绍，论文原文请访问：https://arxiv.org/abs/1705.03865

视觉问答（visual question answering/ VQA）是结合自然语言处理和计算机视觉技术的一种新兴任务。本文是一份视觉问答技术研究情况的调查，我们在文中列举了一些用于解决这个任务的数据集和模型。调查的第一部分详细介绍了用于 VQA 的不同数据集，并比较了各数据集的特点。调查的第二部分详细介绍了 VQA 的不同模型，分为四个类型：非深度学习模型、无注意机制（without attention）的深度学习模型、有注意机制（with attention）的深度学习模型以及其它模型。最后，我们比较这些模型的性能，并为今后的工作提供一些方向。

　　1 引言

视觉问答是最近几年出现的一个新任务，并引起了机器学习社区的关注（Antol 等，2015）（Wu 等，2016a）。该任务通常分为向计算机展示图像和向计算机询问有关图像的问题两个步骤。答案可以是以下任何形式：单词、短语、是/否回答、从几个可能的答案中选择或在空白处填写答案。

视觉问答任务具有重要性和吸引力，因为它结合了计算机视觉和自然语言处理领域。计算机视觉技术用来理解图像，NLP 技术用来理解问题。此外，两者必须结合起来才能有效地回答图像情境中的问题。这相当具有挑战性，因为传统上这两个领域使用不同的方法和模型来解决各自的任务。

本调查详细介绍了用于解决视觉问答任务的数据集和模型，并对这些模型在各数据集上运行的效果进行了比较。本文分为 4 个部分：第 2 部分介绍 VQA 数据集，第 3 部分介绍模型，第 4 部分讨论结果并提供一些未来的可能方向。

2 数据集

在过去 2-3 年中，出现了几个大型的面向 VQA 任务的数据集。表 1 是这些数据集的情况摘要。

表 1：VQA 数据集

3 模型

随着深度学习技术的广泛普及，VQA 任务被提出时，深度学习领域各种计算机视觉和 NLP 技术已经有了很大发展。因此，文献中几乎所有关于 VQA 的工作都涉及深度学习方法，而不是采用更经典的方法，如图模型（graphical model）。在本部分第 1 小节中，作者详细介绍了几个没有用神经网络方法的模型，以及作者在这些模型中使用的几个简单基线（baseline）算法。第 2 小节介绍了无注意机制的深度学习模型。第 3 小节详细介绍了用于 VQA 的有注意机制的深度学习模型。所有模型的结果总结在表 2 和表 3 中。

3.1 非深度学习方法

3.1.1 回答类型预测（Answer Type Prediction/ATP）

（Kafle 和 Kanan，2016）提出了一个用于 VQA 的贝叶斯框架，他们用模型预测一个问题的答案类型，atv，并用它来产生答案。可能的答案类型随着数据集的不同而有所不同。例如，对于 COCO-QA，他们考虑四种答案类型：对象、颜色、计数和位置。

给定图像 x 和问题 q，模型计算答案 a 和答案类型 t 的概率：

遵循贝叶斯定理。然后，计算所有答案类型边际分布概率得到 P(A=a|x,q)。对于给定的问题和答案，分母是常数可以忽略。

他们用三个独立的模型对分子中的 3 个概率进行建模。第 2 和第 3 个概率都使用 logistic 回归进行建模。问题的特征采用跳跃思维向量表征（skip-thought vector representation）（Kiros 等人，2015）（他们使用预训练的跳跃思维模型）。第 1 个概率为条件多元高斯模型，原理上与二次判别分析（Quadratic Discriminant Analysis）相似。此模型采用了原始图像特征。

作者还介绍了一些简单的基线算法，如仅将图像特征或仅将问题特征馈送到 logistic 回归，将图像和问题特征同时馈送到逻辑回归，以及将相同的特征馈送到多层感知器。他们在 DAQUAR、COCO-QA、Visual7W 和 VQA 数据集上进行了评估。

3.1.2 多元世界（Multi-World）问答

（Malinowski 和 Fritz，2014）这篇论文将基于问题和图像的答案概率建模为