Odena 等[35] 提出的 Auxiliary Classifier GAN (AC-GAN) 可以实现多分类问题, 它的判别器输出 相应的标签概率. 在实际训练中, 目标函数则包含真 实数据来源的似然和正确分类标签的似然, 不再单 独由判别器二分类损失来反传调节参数, 可以进一 步调节损失函数使得分类正确率更高, AC-GAN 的 关键是可以利用输入生成器的标注信息来生成对应 的图像标签, 同时还可以在判别器扩展调节损失函 数, 从而进一步提高对抗网络的生成和判别能力.

　　考虑到 GAN 的输出为连续实数分布而无法产 生离散空间的分布, Yu 等[6] 提出了一种能够生成离 散序列的生成式模型 Seq-GAN. 他们用 RNN 实现 生成器G, 用CNN 实现判别器D, 用D 的输出判 别概率通过增强学习来更新 G. 增强学习中的奖励 通过 D 来计算, 对于后面可能的行为采用了蒙特卡 洛搜索实现, 计算 D 的输出平均作为奖励值反馈.

　　3. GAN 的应用领域

　　作为一个具有 “无限” 生成能力的模型, GAN的直接应用就是建模, 生成与真实数据分布一致的 数据样本, 例如可以生成图像、视频等. GAN 可以 用于解决标注数据不足时的学习问题, 例如无监督 学习、半监督学习等. GAN 还可以用于语音和语言 处理, 例如生成对话、由文本生成图像等. 本节从图 像和视觉、语音和语言、其他领域三个方面来阐述GAN 的应用.

　　3.1 图像和视觉领域

　　GAN 能够生成与真实数据分布一致的图像. 一 个典型应用来自 Twitter 公司, Ledig 等[36] 提出利 用 GAN 来将一个低清模糊图像变换为具有丰富细 节的高清图像. 作者用 VGG 网络[37] 作为判别器,用参数化的残差网络[19] 表示生成器, 实验结果如图4 所示, 可以看到 GAN 生成了细节丰富的图像.

　　GAN 也开始用于生成自动驾驶场景. Santana等[38] 提出利用 GAN 来生成与实际交通场景分布一 致的图像, 再训练一个基于 RNN 的转移模型实现预 测的目的, 实验结果如图 5 所示. GAN 可以用于自 动驾驶中的半监督学习或无监督学习任务, 还可以 利用实际场景不断更新的视频帧来实时优化 GAN的生成器.

　　Gou 等[39?40] 提出利用仿真图像和真实图像作 为训练样本来实现人眼检测, 但是这种仿真图像与 真实图像存在一定的分布差距. Shrivastava等[41]提出一种基于 GAN 的方法 (称为 SimGAN), 利用 无标签真实图像来丰富细化仿真图像, 使得合成图 像更加真实. 作者引入一个自正则化项来实现最小 化合成误差并最大程度保留仿真图像的类别, 同时 利用加入的局部对抗损失函数来对每个局部图像块 进行判别, 使得局部信息更加丰富.

　　3.2 语音和语言领域

　　目前已经有一些关于 GAN 的语音和语言处理 文章. Li 等[5] 提出用 GAN 来表征对话之间的隐式 关联性, 从而生成对话文本. Zhang 等[42] 提出基于GAN 的文本生成, 他们用 CNN 作为判别器, 判别 器基于拟合 LSTM 的输出, 用矩匹配来解决优化问 题; 在训练时, 和传统更新多次判别器参数再更新一 次生成器不同, 需要多次更新生成器再更新 CNN 判别器.基于策略梯度来训练生成器G, 策略梯度的反馈奖励信号来自于生成器经过蒙特卡 洛搜索得到, 实验表明 SeqGAN 在语音、诗词和音 乐生成方面可以超过传统方法. Reed 等[43] 提出用GAN 基于文本描述来生成图像, 文本编码被作为生 成器的条件输入, 同时为了利用文本编码信息, 也将 其作为判别器特定层的额外信息输入来改进判别器,判别是否满足文本描述的准确率, 实验结果表明生 成图像和文本描述具有较高相关性.

　　3.3 其他领域