从 Plug & Play Generative Networks（Nguyen et al. 2016）上面的图像分别是赤足鹬鸟、蚂蚁和修道院，看上去比最近的其他几张生成图都要真实

第一天还有一个大亮点：共 170 多个展位的海报展示。Yoshua Bengio、 Diederik Kingma 和 David Blei 也站在人群中给大家讲解他们的展示。这些展示的质量也非常高，以下是其中的亮点：

Exponential Family Embeddings：一种多类型数据的全新强大的嵌入（embedding）技术，带来了用户使用嵌入技术评估数据的可能性。

Unsupervised Learning for Physical Interaction through Video Prediction：利用机器人的推动动作的数据来规划可能的未来。传统的代理（agent）学习算法严重依赖于监督，而这种类型的方法或许是机器人和类似领域未来的新方法。

Improving Variational Inference with Inverse Autoregressive Flow ：结合了变分推断的最新进展和自动回归网络（autoregressive network）的一些想法，得出更好的编码模型。

第二天亮点：平台之战和强化学习

，旨在提供一种打造丰富模拟环境的手段方法，用于人工智能研究。最受欢迎的通用平台，恐怕要数 OpenAI 的 Gym。几个礼拜前 OpenAI 也公布了 Universe 平台, 旨在提供比 Gym 更灵活、具有扩展性的平台。

在会议的第二天，我们仍然可以看到强化学习和深度学习正在继续进步，这些机器学习技术也已经在更加广泛的应用中得到了使用，这里给出几篇比较亮眼的论文：

最佳论文令人印象深刻：该论文的主要创新在于其模型包含了一个可微分的「规划模块（planning module），这让网络可以做出规划并更好地泛化到其它从未见过的领域。

两篇推进 RNN 的研究： Sequential Neural Models with Stochastic Layers 以及 Phased LSTMs。前者将 状态空间模型（State Space Model）的想法和 RNN 结合起来，充分利用了两个领域的最好的东西。后者将「time gate」添加到了 LSTM 中，这显著改善了针对长序列数据的优化和表现。

一个来自亚马逊的团队的论文讨论了针对大型库存的贝叶斯间断需求预测（论文：Bayesian Intermittent Demand Forecasting for Large Inventories）。

K-means 是许多数据科学应用的核心算法。不过，找到好的聚类中心（cluster centers）常常要依赖良好的初始化。Olivier Bachem 在论文《Fast and Provably Good Seedings for k-Means》中表明，他们可以获得良好的 centroid seeds，速度比当前最佳的算法（k-Means++）快几个数量级。更妙的是，他们还有代码，「pip install kmc2」= g2g。

另外，第二天的 poster session 展示了 170 多篇论文，这里选出了 3 篇比较有意思的：

Attend, Infer, Repeat: Fast Scene Understanding with Generative Models 提出了一种极具启发性的理解图像中场景的方法。使用贝叶斯和变分推理（Bayesian and Variational Inference），该论文的作者构建了一个可以无需任何监督就能理解图像中的数字、地址和物体类型的模型。这引起了较大的关注，因为他们的模型可以在训练样本之外的分布上进行推理/推导。当然，该模型确实需要一些特别的需求，但它们也提供了新的有趣的研究探索路径。

DeepMath—Deep Sequence Models for Premise Selection 提出的深度学习方法可以持续不断突破新的领域。一个来自 Google Research 的研究团队（包括 François Chollet and Geoffrey Irving）展示了世界上第一个使用深度学习进行自动理论证明（automated theorem proving）的案例。这项成果有助于加速系统的正确性证明，并可替代对该领域的专家所设计的特征的需求（其与自然语言有类似但也不同的结构）。它们可以自动选择与推理过程中的当前状态相关的操作运算，这个过程可以被扩展到其它领域，是一个非常激动人心的研究方向。

(责任编辑：本港台直播)