不过直接用 batch norm 也有问题的。同一批（batch）里面的数据太过相似，对一个无监督的 GAN 而言，很容易被带偏而误认为它们这些数据都是一样的。也就是说，最终的生成模型的结果会混着同一个 batch 里好多其它特征。这不是我们想要的形式。

所以，我们可以使用 Reference Batch Norm：

取出一批数据（固定的）当作我们的参照数据集 R。然后把新的数据 batch 都依据 R 的平均值和标准差来做规范化。

这个方法也有一些问题：如果 R 取得不好，效果也不会好。或者，数据可能被 R 搞得过拟合。换句话说：我们最后生成的数据可能又都变得跟 R 很像。

所以，再进阶一点，我们可以使用 Virtual Batch Norm

这里，我们依旧是取出 R，但是所有的新数据 x 做规范化的时候，我们把 x 也加入到 R 中形成一个新的 virtual batch V。并用这个 V 的平均值和标准差来标准化 x。这样就能极大减少 R 的风险。

第三个技巧：平衡好 G 和 D

通常，在对抗网络中，判别模型 D 会赢。并且在实际中，D 也比 G 会深很多。Ian 建议大家不要太担心 D 会变得太聪明，我们可以用下面这些方法来达到效果最大化：

就像之前说的，使用非饱和（non-saturating）博弈来写目标函数，保证 D 学完之后，G 还可以继续学习；

使用标签平滑化。

研究前沿

GAN 依旧面临着几大问题。

问题 1：不收敛

现在 GAN 面临的最大问题就是不稳定，很多情况下都无法收敛（non-convergence）。原因是我们使用的优化方法很容易只找到一个局部最优点，而不是全局最优点。或者，有些算法根本就没法收敛。

模式崩溃（mode collapse）就是一种无法收敛的情况，这在 Ian 2014 年的首篇论文中就被提及了。比如，对于一个最小最大博弈的问题，我们把最小（min）还是最大（max）放在内循环？这个有点像刚刚说的 reverse KL 和 maximum likelihood 的区别（激进派和保守派）。minmax V(G,D) 不等于 maxmin V(G,D)。如果 maxD 放在内圈，算法可以收敛到应该有的位置，如果 minG 放在内圈，算法就会一股脑地扑向其中一个聚集区，而不会看到全局分布。

大家觉得这个特性是不是跟我们上面提到的什么东西有点像？对咯，就是 reverse KL！

因为 reverse KL 是一种保守派的损失（loss），有人觉得可能使用 reverse KL 会导致模式崩溃（mode collapse），但 Ian 表示，实际上其他的任何目标函数都可能会造成模式崩溃，这并不能解释问题的原因。

我们可以看到，遇到了模式崩溃，我们的数据生成结果就会少很多多样性，基本上仅会带有部分的几个特征（因为学习出来的特征都只聚集在全部特征中几个地方）。

为了解决这个问题，目前表现最好的 GAN 变种是 minibatch GAN。

把原数据分成小 batch，并保证太相似的数据样本不被放到一个小 batch 里面。这样，atv，至少我们每一次跑的数据都足够多样。原理上讲，这种方法可以避免模式崩溃。（更多的优化方法还有待学界的研究。）

接下来这几页幻灯展示了使用 minibatch GAN 的效果：

当然，还有一些尴尬的问题依旧是「未解之谜」。

这里你们看到的，已经是精挑细选出来的好图片了，然而…

生成的图片的细节数量经常会被搞错：