过去 10 年来, 随着深度学习[16?17] 技术在各个 领域取得巨大成功, 神经网络研究再度崛起. 神经网 络作为深度学习的模型结构, 得益于计算能力的提 升和数据量的增大, 一定程度上解决了自身参数多、 训练难的问题, 被广泛应用于解决各类问题中. 例 如, 深度学习技术在图像分类问题上取得了突破性 的效果[18?19], 显著提高了语音识别的准确率[20], 又 被成功应用于自然语言理解领域[21] . 神经网络取得 的成功和模型自身的特点是密不可分的. 在训练方 面, 神经网络能够采用通用的反向传播算法, 训练过 程容易实现; 在结构方面, 神经网络的结构设计自由 灵活, 局限性小; 在建模能力方面, 神经网络理论上 能够逼近任意函数, 应用范围广. 另外, 计算能力的 提升使得神经网络能够更快地训练更多的参数, 进 一步推动了神经网络的流行.

　　1.4 对抗思想的成功

　　从机器学习到人工智能, 对抗思想被成功引入 若干领域并发挥作用. 博弈、竞争中均包含着对抗 的思想. 博弈机器学习[22] 将博弈论的思想与机器学 习结合, 对人的动态策略以博弈论的方法进行建模,优化广告竞价机制, 并在实验中证明了该方法的有 效性. 围棋程序 AlphaGo[23] 战胜人类选手引起大众对人工智能的兴趣, 而 AlphaGo 的中级版本在训 练策略网络的过程中就采取了两个网络左右互博的方式,获得棋局状态、策略和对应回报,并以包含博 弈回报的期望函数作为最大化目标. 在神经网络的研究中, 曾有研究者利用两个神经网络互相竞争的 方式对网络进行训练[24] , 鼓励网络的隐层节点之间 在统计上独立, 将此作为训练过程中的正则因素. 还 有研究者[25?26] 采用对抗思想来训练领域适应的神 经网络: 特征生成器将源领域数据和目标领域数据 变换为高层抽象特征, 尽可能使特征的产生领域难 以判别; 领域判别器基于变换后的特征, 尽可能准确 地判别特征的领域. 对抗样本[27?28] 也包含着对抗 的思想, 指的是那些和真实样本差别甚微却被误分 类的样本或者差异很大却被以很高置信度分为某一真实类的样本, 反映了神经网络的一种诡异行为特 性. 对抗样本和对抗网络虽然都包含着对抗的思想,但是目的完全不同. 对抗思想应用于机器学习或人 工智能取得的诸多成果, 也激发了更多的研究者对GAN 的不断挖掘。

　　2. GAN的理论与实现模型

　　2.1 GAN 的理论与实现模型GAN 的基本原理

　　GAN 的核心思想来源于博弈论的纳什均衡. 它 设定参与游戏双方分别为一个生成器 (Generator)和一个判别器 (Discriminator), 生成器的目的是尽 量去学习真实的数据分布, 而判别器的目的是尽量 正确判别输入数据是来自真实数据还是来自生成器;为了取得游戏胜利, 这两个游戏参与者需要不断优 化, 各自提高自己的生成能力和判别能力, 这个学习 优化过程就是寻找二者之间的一个纳什均衡. GAN的计算流程与结构如图 2 所示. 任意可微分的函 数都可以用来表示 GAN 的生成器和判别器, 由此,我们用可微分函数 D 和 G 来分别表示判别器和生 成器, 它们的输入分别为真实数据 x 和随机变量 z.G(z) 则为由 G 生成的尽量服从真实数据分布 pdata的样本. 如果判别器的输入来自真实数据, 标注为 1.如果输入样本为 G(z), 标注为 0. 这里 D 的目标是 实现对数据来源的二分类判别: 真 (来源于真实数据x 的分布) 或者伪 (来源于生成器的伪数据 G(z)),而 G 的目标是使自己生成的伪数据 G(z) 在 D 上 的表现D(G(z))和真实数据x在D上的表现D(x)一致, 这两个相互对抗并迭代优化的过程使得 D 和 G 的性能不断提升, 当最终 D 的判别能力提升到一 定程度, 并且无法正确判别数据来源时, 可以认为这 个生成器 G 已经学到了真实数据的分布.

　　2.2 GAN 的学习方法

　　本节中我们讨论 GAN 的学习训练机制。

　　首先，j2直播，在给定生成器 G 的情况下, 我们考虑最 优化判别器 D. 和一般基于 Sigmoid 的二分类模型 训练一样, 训练判别器 D 也是最小化交叉熵的过程,其损失函数为:

　　其中, x 采样于真实数据分布 pdata(x), z 采样于先 验分布 pz (z) (例如高斯噪声分布), E(·) 表示计算期 望值. 这里实际训练时和常规二值分类模型不同, 判 别器的训练数据集来源于真实数据集分布 pdata(x) (标注为 1) 和生成器的数据分布 pg (x) (标注为 0)两部分. 给定生成器 G, 我们需要最小化式 (1) 来得 到最优解, 在连续空间上, 式 (1) 可以写为如下形式:

　　对任意的非零实数 m 和 n, 且实数值 y ∈ [0, 1] ，开奖，表达式

　　在 处得到最小值。因此, 给定生成器 G 的情 况下, 目标函数 (2) 在