当年晚些时候,Goodfellow 和其他一些研究人员合作发表了一篇论文,描述了这些想法。三年来,探讨这个概念的论文已经有数百篇。在 Goodfellow 的第一篇 GAN 论文里,两个神经网络一起工作,产生了一个能够生成手写数字的逼真图像的系统。现在,研究人员已经将这个想法应用到猫、火山乃至整个星系的图像。GAN 甚至能协助天文学实验,帮助模拟粒子物理。 但这仍然是非常难以实现的想法。它需要训练的不仅仅是一个神经网络,而是要同时训练两个神经网络。Goodfellow 在 Google 创建专注于 GAN 及其相关研究的新团队时,他希望能够改进这个过程。他说:“我作为一名机器学习的研究者,必须面对的一个主要问题,是提供一种能够非常可靠地训练这些网络的方法。” 最终的结果:不仅是生成图像和声音,而且在识别图像和声音方面,GAN 都能做得非常好,而识别图像和声音是通往不需人类太多帮助就能学习的系统的一个路径。Goodfellow 说:“这些模型学会了理解世界的构造,这能帮助系统在没有很多明确的告知的情况下学习。” GAN 甚至能够提供无监督学习,虽然这在目前还没有真正实现。目前,神经网络可以通过分析几百万张猫的照片来学习识别猫,但这需要人工地仔细甄别这些照片,并将它们标记为猫的照片。在这个过程中,人仍然是很重要的角色,而且这往往是很大的问题,例如偏见的问题,训练 AI 所需的庞大的人力的问题,等等。LeCun 等研究者正在推动不需这样庞大的人力参与的情况下学习的系统,这可以加速 AI 的发展。 但这仅仅是个开始。GAN 也带来了数量众多的可能性。南加州大学的AI 研究员David Kale 认为,GAN 将会帮助他和他的同事在不侵犯病人隐私的前提下开发医疗AI。 基本上,GAN 可以“制造出”假的医疗记录。机器学习系统可以在这些假的而非真实的医疗记录进行训练。“与其把病人的医疗记录放到互联网上,让大家都来用,为什么不在这样的数据上训练GAN,创造出一个完全人造的数据集,并且对所有的研究者开放呢?” Kale 说。“为什么我们不这样做?毕竟从这个数据集训练的模型与原始数据训练并没有什么区别。” 尽管现在有很多研究者都在探索GAN背后的原理,但是,GoodFellow 将在谷歌建立自己的研究团队却格外引人注目。GoodFellow 早年在谷歌,后加入Open AI,在不到一年以后又返回谷歌,因为他所有的合作者几乎都在谷歌。 Goodfellow 今年3月在推特上表示: 是的,我在 2月底离开 OpenAI,并回到谷歌大脑。 我很喜欢在 OpenAI 的日子,也为 OpenAI 的同事们与我合作完成的工作感到自豪。我重回谷歌大脑,是因为随着时间的推移,我发现我的研究集中在对抗样本,以及与差分隐私相关的技术,而这些研究我主要是与谷歌的同事合作进行的。 “每天都把时间花费在视频电话上,这可不好玩”,他说,“这不是做事的最佳方法”。分享很重要,但是,近距离的协作也很重要,不管对于AI研究者还是神经网络都是如此。 关于生成对抗网络的详细介绍
摘要 我们提出一个通过对抗过程评估生成模型的新框架,其中我们同时训练两个模型:一个用于捕捉数据分布的生成模型 G,以及一个用于评估来自训练数据而非来自生成模型 G 的样本概率的判别模型 D。生成模型 G 的训练过程目的是最大化判别模型 D 犯错误的概率。这个框架相当于一个极小化极大的双方对弈。在任意函数 G 和 D 的空间中,存在一个唯一的解,此时 G 恢复训练数据的分布,而 D 处处都等于 1/2。在 G 和 D 由多层感知器(multilayer perceptrons)定义的情况下,整个系统可以用反向传播进行训练。在训练或生成样本时,不需要任何马尔科夫链(Markov chains)或展开的近似推理网络(unrolled approximate inference networks)。实验通过对生成的样本进行定性或定量评估来证明这个框架的潜力。 论文地址:https://arxiv.org/pdf/1406.2661.pdf (责任编辑:本港台直播) |