我们喜欢稳步前进。词嵌入帮助改变了许多自然语言处理任务，去年《Word Movers Distance》提供一种使用它们的嵌入在不同文档进行摘要的方法。对监督任务（比如，文本分类）而言，这可以更进一步。《Supervised Word Mover’s Distance》提出了可以执行仿射变换（affine transformation）和重新调整权重（re-weightings）的方法来提供分类，实现了有效的当前最佳的表现。

　　第三天亮点：机器人、汽车

第三天出现的一个主题是将深度学习融入应用中，特别是机器人和汽车。

一个出色的研究来自 Pulkit Agrawal 和他的团队论文 Learning to Poke by Poking: Experiential Learning of Intuitive Physics。他们使用了几百个小时数据（让机器人通过戳的动作来移动物体获得的）搭建了一个系统，机器人可以四处移动物体即使它从未见过这些物体。系统使用了 CNNs 来观察世界，有两个理解相关物理世界的模型。前向模型（forward model），用来预测一个动作/戳的结果，以及一个能够获取当前状况并将之映射到行动中的逆模型（inverse model）。通过一系列令人信服的视频，很明显，直播，机器人已经学会如何相当普遍地四处移动物体。

另外，来自奔驰的机器学习工程师 Michael Beaumier 的同事展示了他们最新的目标识别系统。他们一直在研发一种可以识路面小型物体的系统，而这份成功就是该研究的关键创新之处。将场景分割（在 ImageNet 上训练 CNN）和一些来自立体图像的几何信息结合起来，他们搭建了一个贝叶斯模型来识别 100 米之处大小为 5 厘米的物体。这项有助于让自动驾驶汽车更加可能和安全。

第四天到第六天亮点：似然推理、Dessert 类比（Dessert analogies）

过去两年，NIPS 有关注将机器学习和概率推论用于粒子物理学的研讨会，今年继续了这一主题。Kyle Cranmer 做了主旨演讲，讨论了许多机器学习进步改善粒子实验分析的领域，包括前馈神经网络、卷积网络以及生成对抗神经网络。

CERN 实验中描述的 ATLAS 实验的图解模型。每一个阶段都包括显著知识、分析和/或推理来让实验获得成功。Kyle Cranmer 在这份主旨演讲中讨论了如何处理模型的各种不同部分。

演讲重点关注这样一个问题：当你想要推理模型参数时，直播，但是不能评估似然函数时，你该做什么。当你有了针对数据的生成模型时，你可以用似然推理方法（比如《Approximate Bayesian Computation》），你可以评估一个模型的似然性，而无需一个明确的似然函数。

这些技巧和想法是许多无监督和生成模型的技术，目前也是一个极为活跃的研究领域。在其主旨演讲和接下来的讨论中，Cranmer 显然正在萌生这样一种想法：这些似然技巧不再是近似的。我们很兴奋，因为这些想法已经对自编码和对抗模型产生了巨大影响。

与前三天一样，最后三天的日程安排大致相同，但依然是满满的干货。下面是大会第 4-6 天的演讲和研讨会精彩总结：

来自康奈尔大学计算机系的副教授 Killan Weinberger 探讨了深度极深的卷积网络。其团队论文 Deep Networks with Stochastic Depth 展示了训练过程中的所以抽样深度，是比微软团队 ResNet 大赛获奖研究的更好版本。在讨论中，他展示了他们能在 CIFAR-10 上训练一个 1202 层深的网络，并且获得了比 ResNet 更好的模型。最后他提到了 Densely Connected Convolutional Networks，该网络可实现一层与其下面所有层直接连接，达到了 目前的最佳表现。

有一个趋势是张量方法及其应用中的最新进展。周六的张量学习 workshop 上，讨论了卷积网络的深度效率：网络设计中和分析中分层张量分解的使用。这个讨论证明了一个卷积网络和分级张量分解之间的一个等价，让我们对网络配置的空间、深度网络的表现力以及增加层数带来的益处有了更多的理论上的理解。此外还有一个成果是将当前很多技术形式化，并明确了未来的研究方向

另一个趋势，大会上出现了一些对话更加直接，探讨实际建议的 workshop。比如 Soumith Chintala 讨论了《How to train a GAN》和 John Schulman 的《The Nuts and Bolts of Deep Reinforcement Learning Research》展示了分享研究细节对于加速研究过程的重要性。这些东西无法呈现在最终的论文中，所以这样的分享非常好。

我们仍然还有一些疑问：

2016 年，记忆网络取得了巨大进步，却为什么没有变得更加流行？

会议上女性研究者的数量从原来的 13% 增长到了 15%，NIPS 和其它会议的多样性该怎样才能达到合理的水平？

几乎所有的强化学习研究都围着游戏转。什么时候能走出玩游戏？

人工智能技术的日益商业化会如何影响研究？开放的趋势会持续下去吗？

其它值得关注的论文