那么接下来，我们就来看看这样的稳定模型是否有效。我们对比的算法是一个非常经典的神经机器翻译方法，而且用的是他们自己开源的代码。为了训练这个对比算法，我们使用了全部的双语标注数据。而我们自己提出的对偶学习算法并不需要双语标注数据，用单语数据就可以进行学习和迭代了。不过万事开头难，我们还是要给这个学习过程一个初始化。在初始化过程中，我们使用了 10% 的双语语料训练了一个相对比较弱的模型，然后用对偶学习的迭代过程不断提高它。也就是说，在初始化完成之后，我们就不再使用任何双语的标注语料了，而是靠两个对偶任务互相提供反馈信息进行模型训练。好，那我们来看看实验结果如何。

这两张图展示了法英和英法翻译的实验结果。以第一张图为例，最左边这根柱子对应的是用 10% 双语语料训练的初始模型；最右边这根柱子对应的是用 100% 双语语料训练的翻译模型。可以看出，初始模型确实比较弱。当我们使用对偶学习的方法，虽然不再利用任何有标注的双语数据，我们仍可以很快的接近甚至超过用百分之百的双语语料训练出来的模型。这个结果非常令人振奋。不仅如此，我们的实验发现，对偶学习更不容易饱和，因为无标签的单语数据非常丰富、非常多样化，因此通过不断调节单语数据源和调整反馈信息，可以持续提高模型的有效性。相反，使用双语语料比较容易饱和，过几遍数据以后，当信息被挖掘得足够充分，想要再提升模型精度就变得非常困难了。

如上这种振奋人心的结果是否只局限在机器翻译领域呢？其他领域是否也可以使用类似的方法得到提升呢？答案是肯定的，前面我提到的很多人工智能的任务都具有对偶结构，因此都可以用对偶学习来解决。

这张 PPT 展示了在语音识别和语音合成方面如何定义反馈信号，从而进行对偶学习。

同样，这张 PPT 展示了在图像识别和图像生成方面如何定义反馈信号，从而进行对偶学习。

而这张 PPT 则展示了在对话引擎方面如何定义反馈信号，从而进行对偶学习。

说到这里，可能很多人会有疑问，虽然我们说对偶学习应用很宽泛，但是我们举的例子都有一个共同特点，就是真实的物理世界里确实存在两个对偶的任务。那么，如果我们要解决的问题并不存在一个天然的对偶任务怎么办？其实这个也没关系，即使没有物理上的对偶性，也可以通过虚拟的对偶性来完成对偶学习。我举两个例子。第一个是在深度神经网络领域常用的 Auto Encoder，仔细分析一下，它其实是对偶学习的一个特例。

Auto Encoder 原本的任务是要学习从输入层到隐层的一个映射（即编码），为了有效地学习这种映射，我们人为添加了一个虚拟任务：就是从隐层到输入层的逆映射（即解码，请注意图中的输出跟输入是一样的数据），这样就形成了机器学习的闭环。如果用对偶学习的语言描述一下，就是这张图：通过人为增加解码回路，使虚拟的对偶性得以成立，从而实现对偶学习。不过需要指出的是，Auto Encoder 和对偶学习有一些小差别，Auto Encoder 只关心单边任务的模型（也就是编码器），而在标准的对偶学习中，我们同时关心两个模型，想把它们都学好。

另一个例子是最近这两年特别火的——Generative Adversarial Nets（GAN）。它的目标是学习一个图像生成器，为此通过一个鉴别器不断给生成器提供反馈信息（也就是判别生成器生成的东西是真是假）。这样的博弈过程可以获得一个非常有效的图像生成器，用它可以自动制造训练样本来进行深度学习。很显然，GAN 也可以用对偶学习的语言进行描述，并且它也只是对偶学习的一个特例：它只关心单边生成器的有效性，而标准的对偶学习会同时关心生成器和鉴别器的有效性。