如果包含了K-Lipschitz函数中的真正的supremum，这就恰恰给出了距离。真很可能不是真的。在这种情况下，逼近的质量取决于K-Lipschitz函数从中错过了什么。

　　现在，让我们再回到产生模型。我们希望训练Pθ=gθ（Z）以使其匹配Pr。直觉上，给定一个固定的gθ，我们可以计算出Wasserstein距离的优化。然后我们就可以通过的backprop以获得θ的梯度。

　　训练过程现在分为了三步：

　　?对于一个固定的θ，通过训练的收敛，计算W(Pr,Pθ)的近似值；

　　?一旦我们找到了优化，通过取样几个z~Z，计算θ的梯度；

　　?更新θ，并重复上述过程。

　　还有最后一个细节。整个推导只有在函数family是K-Lipschitz函数时在起作用。为保证这是正确的，我们使用了weight clamping。通过在每次更新w后clip w，weights w被约束在位于[-c,c]。

　　整个算法如下：

　　说明：和标准GAN的比较

　　让我们比较一下WGAN和标准GAN的算法。

　　? 在GAN里，鉴别器最大化了

　　其中我们约束了D(x)为总是概率。

　　在WGAN中，没有什么要求输出一个概率。这解释了为什么作者倾向于称为批评者而非鉴别器——它并不明确地努力区分输入是真还是假。

　　?原始的GAN论文指出，在极限情况下，上述鉴别器的目标最大值是Jenson-Shannon散度，决定于缩放和常数因子。

　　在WGAN中，代替的是 Wasserstein距离。

　　虽然GANs被定为a min max problem，但在实践中，我们从来不训练D收敛。 事实上，通常鉴别器豆太强大，我们需要在D和G之间进行交替梯度更新，以获得合理的发生器更新。

　　我们不在对抗Jenson-Shannon散度时更新G，甚至不在对抗approximation of the Jenson-Shannon散度时更新G，我们在对抗瞄准JS散度的对象时更新G，但并非一直如此。这肯定是有效的，但基于本论文对JS散度的梯度的认识，它起到作用是有点令人惊讶的。

　　相反，因为Wasserstein距离几乎处处可微分，我们可以（也应该）训练在每次发生器更新时收敛，以尽可能准确地得到W(Pr,Pθ)的估算。（W(Pr,Pθ)越准确，梯度越准确）。

　　实践结果

　　首先，作者建立了一个小实验来展示GAN和WGAN之间的区别。 有两个一维高斯分布，蓝色为真，绿色为假。 训练GAN鉴别器和WGAN批评者以达到优化，然后在空间上绘制它们的值。 红色曲线是GAN鉴别器输出，青色曲线是WGAN批评者输出。

　　两者都在识别哪个分布为真哪个分布为假，但是GAN鉴别器这么做时使得梯度在大部分空间上消失。 相比之下，WGAN中的weight clamping在一切问题上都给出了相当不错的梯度。

　　接下来，Wasserstein损失似乎与图像质量相关。 在这里，作者绘制了伴随时间的损失曲线，以及生成的样本。

　　读完本文后，就明白这一现象并不奇怪。 因为我们针对收敛训练了批评者，这些批评者的值应该是K?W(Pr,Pθ)的很好的approximations，其中K总是Lipschitz常数。如之前所论述的，一个低的K?W(Pr,Pθ)意味着Pr和Pθ是彼此靠近的。如果批评者的值没有对应到视觉相似性，才更令人惊讶。

　　图像结果也看起来不错。 与卧室数据集上的DCGAN基线相比，它的性能也很好。

　　上图：带有同样DCGAN结构的WGAN 下图：DCGAN

　　如果我们从发生器中移除batch，WGAN仍然生成可用的样本，但DCGAN完全失败。

　　上图：带有同样DCGAN结构的WGAN，无batch norm 下图：DCGAN，无batch norm