当地时间 12 月 5 日，机器学习和计算神经科学的国际顶级会议第 30 届神经信息处理系统大会（NIPS 2016）在西班牙巴塞罗那开幕。OpenAI 研究科学家 Ian Goodfellow 在会上作为主题为《生成对抗网络（Generative Adversarial Networks）》的演讲，机器之心分析师「加号」也到达了现场，并将演讲内容进行一番整理和解读之后在此进行了分享。（注：为了让复杂的概念更加「新手友好」，本篇所有备注皆为机器之心分析师「加号」自行补全，不代表 Ian Goodfellow 本人的立场与观点。）点击阅读原文可下载 PPT。

GAN

Ian Goodfellow 在 NIPS 2016 上的 tutorial 演讲依旧是聊他的代表作生成对抗网络（GAN/Generative Adversarial Networks），毕竟 Ian 就是「对抗生成网络之父」。这两年，他每到大会就会讲 GAN，并且每次都会有一些新的干货，当然这次也不例外。

可以说，这几年在机器学习领域最亮最火最耀眼的新思想就是生成对抗网络了。这一思想不光催生了很多篇理论论文，也带来了层出不穷的实际应用。Yann LeCun 本人也曾毫不吝啬地称赞过：这是这几年最棒的想法！

大家都知道，LeCun 是无监督学习的头号号召者。生成对抗网络这种靠数据和模型自己的内部对抗来实现无监督学习的模型正好给人工智能的自我学习能力带来了一线曙光！

大神 Ian Goodfellow（这姓本身就很学术）是神经网络奠基人 Yoshua Bengio 的学生（跟相声一样，学术界也讲究个师承和门派。收不收学费就因人而异了。学校的发票应该还是有的）。继承了 Bengio 的步伐，Ian 在 2014 年的一篇 GAN 论文也是震惊世界，被认为是带领人类走向机器学习下一个纪元的开创性方法。Ian 在谷歌带完这一波节奏之后，便加入了「硅谷钢铁侠」Elon Musk 的 OpenAI。

OpenAI 这家酷炫的研究所是非营利的，主要目标就是做深度的人工智能研究来为人类造福，或防止人工智能失控而灭绝人类。当然，这只是个口号，本质上其实就是有钱人撒钱养一帮学界大神来提升自己在圈内的逼格。当然，他们也不计利润和 IP 地开源了大量代码和框架，这也是造福工业界和学术界的好事。GAN 作为 OpenAI 的首个高逼格成果，也在这两年得到了长足的优化和拓展。

生成模型的概念大家应该都很熟悉，大概有两种玩法：

密度（概率）估计：就是说在不了解事件概率分布的情况下，先假设随机分布，然后通过数据观测来确定真正的概率密度是怎样的。

样本生成：这个就更好理解了，就是手上有一把训练样本数据，通过训练后的模型来生成类似的「样本」。

这堂 tutorial 主要就是讲生成对抗网络以及一些技巧与前沿观点。

为什么要学习生成模型？

我们为什么需要生成模型？

这是一种对我们处理高维数据和复杂概率分布的能力很好的检测；

也可以为了未来的规划或模拟型强化学习做好理论准备（所谓的 model-free RL）；

当然，更多的情况是，我们会面临缺乏数据的情况，我们可以通过生成模型来补足。比如，用在半监督学习中；

可以输出多模（multimodal）结果；

以及很多的一些现实的需要生成模型的问题（比如，看到一个美女的背影，猜她正面是否会让你失望……）

接下来的几页幻灯片给出了一些实际的应用，比如预测影片的下一帧、去除马赛克、神笔马良等等……

生成模型是如何工作的？GAN 跟其它模型比较有哪些优势？

该怎么创造生成模型呢？这涉及到概率领域一个方法：最大似然估计。

大家都知道，一组相互独立事件的同时发生概率是：