俗话说成也萧何败也萧何，大数据、大模型、大计算是深度学习成功的三大支柱因素，但他们同时也为深度学习的进一步发展和普及带来了一些制约因素。

挑战1:标注数据代价昂贵

前沿1:从无标注的数据里学习

大家都知道，深度学习训练一个模型需要很多的人工标注的数据。例如在图象识别里面，经常我们可能需要上百万的人工标注的数据，在语音识别里面，我们可能需要成千上万小时的人工标注的数据，机器翻译更是需要数千万的双语句对做训练，在围棋里面DeepMind当初训练这个模型也用了数千万围棋高手走子的记录，这些都是大数据的体现。

但是，很多时候找专家来标注数据是非常昂贵的，并且对一些应用而言，很难找到大规模的标注的数据，例如一些疑难杂症，或者是一些比较稀有的应用场景。这里我们做一个粗略的分析，看看标注数据的代价有多高。比如说对机器翻译而言，现在如果我们请人工来翻译，一个单词的费用差不多是5—10美分之间，一个句子平均长度差不多是30个单词，如果我们需要标注一千万个双语句对，也就是我们需要找专家翻译一千万句话，这个标注的费用差不多是2200万美元。

大家可以看到数据标注的费用是非常非常高的，让一个创业公司或者一些刚刚涉足人工智能的公司拿这么大一笔资金来标注数据是很难或者是不太可行的。因此当前深度学习的一个前沿就是如何从无标注的数据里面进行学习。现在已经有相关的研究工作，包括最近比较火的生成式对抗网络，以及我们自己提出的对偶学习。

生成式对抗网络的主要目的是学到一个生成模型，这样它可以生成很多图像，这种图像看起来就像真实的自然图像一样。它解决这个问题的思路跟以前的方法不太一样，它是同时学习两个神经网络：一个神经网络生成图像，另外一个神经网络给图像进行分类，区分真实的图像和生成的图像。在生成式对抗网络里面，第一个神经网络也就是生成式神经网络，它的目的是希望生成的图像非常像自然界的真实图像，这样的话，那后面的第二个网络，也就是那个分类器没办法区分真实世界的图像和生成的图像；而第二个神经网络，也就是分类器，它的目的是希望能够正确的把生成的图像也就是假的图像和真实的自然界图像能够区分开。大家可以看到，这两个神经网络的目的其实是不一样的，他们一起进行训练，就可以得到一个很好的生成式神经网络。生成式对抗网络最初提出的时候，主要是对于图像的生成，现在很多人把他应用到各个不同的问题上，包括自然语言理解，比如说最近我们有一个工作，就是把这种思想应用到机器翻译里面，能够很大幅度的提高机器翻译的准确度。

针对如何从无标注的数据进行学习，我们组里面提出了一个新思路，叫做对偶学习。对偶学习的思路和前面生成式对抗学习会非常不一样。对偶学习的提出是受到一个现象的启发：我们发现很多人工智能的任务在结构上有对偶属性。比如说在机器翻译里面，我们把中文翻译成英文，这是一个任务，但是我们同样也需要把英文翻译成中文，这是一个对偶的任务。这种原任务和对偶任务之间，直播，他们的输入和输出正好是反着来的。在语音处理里面，语音识别是把语音转化成文字，语音合成是把文字转化成语音，也是互为对偶的两个任务。在图像理解里面，看图说话，也就是给一张图生成一句描述性的语句，它的对偶任务是给一句话生成一张图，这两个任务一个是从图像到文本，另外一个是从文本到图像。在对话系统里面，回答问题和问题生成也是互为对偶的两个问题，前者是给定问题生成答案，后者是给定答案生成问题。在搜索引擎里面，给定检索词返回相关文档和给定文档或者广告返回关键词也是互为对偶的问题：搜索引擎最主要的任务是针对用户提交的检索词匹配一些文档，返回最相关的文档；当广告商提交一个广告之后，广告平台需要给他推荐一些关健词使得他的广告在用户搜索这些词能够展现出来被用户点击。