【10亿+数据集，ImageNet千倍】深度学习未来，谷歌认数据为王

2017-07-12 11:16来源:新智元

原标题：【10亿+数据集，ImageNet千倍】深度学习未来，谷歌认数据为王

1 新智元编译

来源：research.googleblog.com；reddit

编译：文强；胡祥杰；刘小芹

【新智元导读】数据重要还是算法重要？一篇新的论文或许给出了答案。使用一个 300 倍于 ImageNet 的新数据集，谷歌研究人员发现，随着数据增长，模型完成计算机视觉任务的性能直线上升。即使在 300 倍 ImageNet 这么大规模的情况下，性能都没有遭遇平台。谷歌研究人员表示，构建超大规模的数据集应当成为未来研究的重点，他们的目标是朝 10 亿+ 级别的数据进发。

今年 3 月，谷歌大脑负责人 Jeff Dean 在 UCSB 做了一场题为《通过大规模深度学习构建智能系统》的演讲。

Jeff Dean 在演讲中提到，当前的做法是：

解决方案 = 机器学习（算法）+ 数据 + 计算力

未来有没有可能变为：

解决方案 = 数据 + 100 倍的计算力？

由此可见，谷歌似乎认为，机器学习算法能被超强的计算力取代。

现在，谷歌和 CMU 合作的一篇最新论文，又从数据的角度探讨了这个问题。

过去十年中，计算机视觉领域取得了显著的成功，其中大部分可以直接归因于深度学习模型的应用。此外，自 2012 年以来，这些系统的表征能力也因下面 3 个因素取得了大幅进步：

（a）具有高复杂性的更深的模型

（b）增加的计算能力和

（c）大规模标签数据集的可用性

然而，尽管每年计算能力和模型复杂性都在进一步增加（从 7 层的 AlexNet 到 101 层的 ResNet），可用的数据集却没有相应的扩大。与 AlexNet 相比，101 层的 ResNet 的容量也大大增加，可后者训练时仍然使用的是大约 2011 年建立的 ImageNet——一个百万级的图像数据集。

虽然计算力（GPU）和模型大小不断增长，数据集的规模一直停步不前

于是，谷歌的研究人员便想：如果将训练数据的量增加 10 倍，精度是否会翻倍？增加 100 倍甚至 1000 倍呢？准确性会上升到某一水平就不再提高，还是会随着数据的增加越来越高？

谷歌 JFT-300M：构建比 ImageNet 大 300 倍的数据集

在最新上传到 arXiv 的论文《再探深度学习时代数据的超凡有效性》（Revisiting Unreasonable Effectiveness of Data in Deep Learning Era）中，谷歌研究人员朝着解答大数据与深度学习间的疑问迈出了第一步。作者表示，他们的目标是探索：

（a）向现有的算法馈送越来越多带有噪声标签的图像，是否能改善视觉表征；

（b）了解在分类、物体检测和图像分割等标准视觉任务中，数据和性能之间关系的性质；

（c）使用大规模学习的计算机视觉任务中当前最先进的模型的表现。

不过，要做到这一点，最大的问题是：在哪里能找到比 ImageNet 大 300 倍的数据集？

答案——不出意外——当然是“在谷歌”。

在今天发表于 Google Research 的文章里，谷歌机器感知组成员 Abhinav Gupta 介绍，为了改善计算机视觉算法，谷歌一直在开发建立这样的数据集。现在，他们已经建立了一个名叫“JFT-300M”的内部数据集，含有 18291 个类别。顾名思义，JFT-300M 有 300M 图像，是 ImageNet 的 300 倍。

这 300M 图像有 10 多亿个标签（单个图像可以有多个标签）。标记这些图像的算法结合了原始 Web 信号，网页间的连接和用户的反馈。在此基础上，谷歌研究人员还使用了一个算法，在这些 10 亿图像标签中，挑选出了大约 375M 精度最大的标签。

但是，经过这样的操作后，标签上仍有相当大的噪音：所选图像 20％ 左右的标签是噪音标签。Abhinav Gupta 表示，由于没有详尽的注释，他们无法估计实验中标签的召回率。

模型性能随训练数据量呈线性增长

最后，实验结果验证了一些假设，但同时也产生了一些惊喜：