不仅如此，随着训练的进行，我们可以看到，G-网络的梯度逐渐增大，一直到一个相对比较稳定的水平。相对固定强度的梯度说明了，G-网络的训练目标函数，最终非常可能是达到一个接近线性的函数（这是因为线性函数的梯度是固定的）。

　　这个也进一步说明了，LS-GAN定义的G-网络的训练目标函数没有发生饱和，其定义是合理的，也是足以避免梯度消失问题的。

　　对LS-GAN进行有监督和半监督的推广

　　LS-GAN和GAN一样，本身是一种无监督的学习算法。LS-GAN的另一个突出优点是，通过定义适当的损失函数，它可以非常容易的推广到有监督和半监督的学习问题。

　　比如，我们可以定义一个有条件的损失函数，这个条件y可以是输入样本x的类别。当类别和样本一致的时候，这个损失函数会比类别不一致的时候小。

　　于是，我们可以得到如下的Conditional LS-GAN (CLS-GAN)

　　这样，一旦得到损失函数，在给定一个样本x后，我们可以用最小化损失函数的那个类别来对样本进行分类，即

　　我们可以看看在MNIST, CIFAR-10和SVHN上，针对不同类别给出的合成图像的效果：

　　半监督的训练是需要使用完全标注的训练数据集。当已标注的数据样本比较有限时，会使得训练相应模型比较困难。

　　进一步，我们可以把CLS-GAN推广到半监督的情形，j2直播，即把已标记数据和未标记数据联合起来使用，利用未标记数据提供的相关分布信息来指导数据的分类。

　　为此，我们定义一个特别的半监督的损失函数：

　　对给定样本x，我们不知道它的具体类别，所以我们在所有可能的类别上对损失函数取最小，作为对该样本真实类别的一个最佳的猜测。这与上面的公式（7）是一致的。

　　这样，我们可以相应的推广CLS-GAN，得到如下的训练目标 最优化损失函数

　　该训练目标可以通过挖掘各个类别中可能的变化，帮助CLS-GAN模型合成某类中的更多的“新”的样本，来丰富训练数据集。这样，即便标注的数据集比较有限，通过那些合成出来已标记数据，也可以有效的训练模型。

　　比如，在下面图中，CLS-GAN模型通过对未标记MNIST数据进行分析，可以按类别合成出更多不同书写风格的数字。

　　这些数字可以增加已标注的训练数据量，进一步提供模型准确度；而更准确的模型可以进一步提供CLS-GAN的合成图像的准确性。通过这种彼此不断的提高，半监督的CLS-GAN在只有很少已标注训练数据下，仍然可以做到准确的分类。

　　我们可以看下在SVHN上，当只有1000张已标注训练数据时分类的准确度：

　　下面是在CIFAR-10上，4000张已标记数据下的分类准确度。

　　结论

　　那么究竟GAN，WGAN和LS-GAN谁更好呢？

　　持平而论，笔者认为是各有千秋。究竟谁更好，还是要在不同问题上具体分析。