参与：微胖、杜夏德、吴攀、李亚洲

　　当地时间 12 月 5 日到 10 日，机器学习和计算神经科学的国际顶级会议第 30 届神经信息处理系统大会（2016/1210/181311.html">NIPS 2016）在西班牙巴塞罗那举行。在这次会议上，人工智能和机器学习领域的研究者为我们呈现了这一领域的研究前沿，其中包括：学习去学习（learning-to -learn）、生成对抗网络（GAN）、用于三维导航的强化学习、RNN 等等；与此同时，一些资深研究者也带来了一些极具看点和启发价值的演讲和教程，其中包括：《》、《》和《》等等。现在，NIPS 2016 已经顺利闭幕，与会的各路研究者开始在网上分享他们的参会经历和体验，以及总结相关的研究进展。机器之心在此对网络上多篇 NIPS 相关的总结文章进行了综合梳理。

NIPS 2016 主题概览

首先，开放性。两年前，亚马逊开始公开他们的研究，现在他们是这场大会的主要参与者。今年，根据 NIPS 与会者的一系列推文，苹果人工智能研究主管、卡内基梅隆大学教授 Russ Salakhutdinov 在会议上表示，「苹果的人工智能研究团队将公开发表他们的研究成果并更多地参与到广阔的学术圈中去。」

其次，模拟。Yann LeCun 在开幕 Keynote 演讲中提到，「模拟是减轻强化学习的高样本复杂性的好策略。」同时，从科学方法论上看，对于反事实的场景，模拟的环境是数据集的模拟，因此它们可以使用共同的指标，允许重复性实验和创新民主化。

模拟器不是什么新东西，过去人们对它也曾有过热情和悲观的浪潮，也有很多陷阱，基本上可以归结为过度训练模拟器（包括微观上得到一个不好的模型和宏观上将科学注意力集中在不相关的问题上。）

有两点需要注意。第一个是 Jason Williams 建议的，相对的性能结论可以接受，但是，绝对的性能结论值得怀疑。第二点是 Antoine Bordes 主张使用一个可实现的模拟问题的集合（也就是对于多种问题，哪一种完美的性能是可能实现的，哪一种能表现出明显不同的能力，目前还不知道什么方法可以解决所有问题。）

毫无疑问，模拟器正在激增。比如 GVGAI，CommAI-env，Project Malmo 以及会议期间公布的 OpenAI Universe 以及 DeepMind Lab。除了理模拟器外，以下几个主题今年也讨论的也比较多。

生成对抗网络。今年，来自其他会议（比如 ICLR）的 GAN 研究热席卷了本次大会。这与模拟有关，尽管更多的是面向减轻样本复杂性而非科学方法论主题。人们正在弄清楚 GAN 能实现如此好的优化能力的奇怪原因，这些原因应该能在近期内帮助深度学习获得一些有趣的改进（不止于许多漂亮照片）。对于 NLU 任务来说，这有点不幸，因为目前从 GAN 生成文本的成熟性并不如声音、图像的生成.

可解释模型。在产业领域，有关能够自己进行解释的模型的想法很流行，不过，我还是第一次看到可解释性得到 NIPS 的很大关注。即将到来的欧盟管制显然加剧了人们对这个主题的兴趣。不过还有其他原因：比如，如果表征更加可以解释的话，那么，表征学习近期取得的进展就能让科学查询更加容易。

NIPS 2016 研究主题详解

这部分的要点总结来自 Insight Data Science 程序开发主任兼研究科学家 Ross Fadely 的系列文章。机器之心进行了适当的删减和整理。

第一天亮点：生成对抗网络

大会第一天主要是参会研究者们带来的一系列研究主题上的最近进展 tutorial。其中这三个是比较引人关注的：

首先是来自哥伦比亚大学的统计与计算机科学教授 David Blei 深入介绍了变分推理（Variational Inference）研究的最近的多项进展。最有影响的还是重新参数化（reparameterization）的技巧，该技巧可以通过随机变量实现反向传播，同时也推动了变自编码器上最新进展。吴恩达带来的则是偏向应用的指导，他介绍了自己在业界打造学习系统的最佳实践经历。

另一个演讲是法国国家信息与自动化研究所的 Francis Bach 带来的（非）凸优化上的最新进展，其中如 SAGA（https://arxiv.org/abs/1407.0202）这样的算法轻松打败了 BFGS（Broyden–Fletcher–Goldfarb–Shanno algorithm）。一旦有了通用的库，这种算法可以在数据科学和应用机器学习领域发挥巨大的作用。

明星级的 Tutorial 当属 Ian Goodfellow 的 GAN（生成对抗网络）。Yann LeCun 大会开幕主题演讲上将 GAN 评价为「近 20 年来（该领域）最令人兴奋的思想。」Goodfellow 清晰地描绘了 GAN 的概念及其目前的进展，还有一些小技巧和提示以及当前的研究前沿。他提到的更多的是使用 GAN 训练的最新进展。最后，Goodfellow 以 Plug & Play Generative Networks（即插即用生成网络）的最新进展惊艳全场，该技术首次产生了逼真的计算机生成图像（如下图）：