这里所总结的一些值得关注的论文是来自微软云与信息服务实验室首席研究软件开发工程师 Paul Mineiro的个人意见，在介绍这些论文之前，他也建议多看一些其他人所总结的推荐论文。他写道：

看单个人的总结就够了吗？我可不这么想。对于这次会议上都有那些好论文，我觉得我们需要众包让大家一起推荐。我只是一个人，只有两只脚和两只眼睛；加上所有的论文都会首先出现在 arXiv 上，就算我读过我可能也没注意到那是投递给这个会议的。这让这个推荐列表有些怪异，但聊胜于无。

如果你觉得有什么论文也值得推荐却没有出现在这个列表中，请及时与我们分享！

通过对抗训练生成文本（Generating Text via Adversarial Training）、用于带有 Gumbel-softmax 分布的离散元素的序列的 GAN（GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution）、对话模型的对抗式评估（Adversarial Evaluation of Dialogue Models）。短评：我对模拟和评估对话系统的技术很感兴趣。

构建像人一样学习和思考的机器（Building Machines That Learn and Think Like People）。短评：这个主题演讲非常好，所以我想要深入了解一下论文。这个演讲探索了人类利用大量先验知识的方式，以及我们可以如何将其整合进我们的系统中；其中一些特定的观察结果为我们带来了一些可以执行的研究方向。（这似乎和对话有关，因为这个研究可能能够解释类似「the blorf flazzed the peezul」这样的无意义陈述的伪可理解性（pseudo-intelligibility）。

跨许多个数量级学习价值（Learning values across many orders of magnitude）。短评：粗略看这可能是关于优化（optimization）的，但在反事实的背景（counterfactual setups）中，这个问题是很普遍的。我可是很喜欢把规模不变性用作一个有用的先验知识（scale invariance as a useful prior）。

用于神经结构预测的回报增强最大似然（Reward Augmented Maximum Likelihood for Neural Structured Prediction）短评：这可以被看作是另一种使用世界的模型来转移强化学习的样本复杂性的方法。（比如：如果编辑距离（edit distance）只是该回报的初始模型呢？

安全高效的离策略强化学习（Safe and Efficient Off-Policy Reinforcement Learning）。短评：这是一个重要的设置。这种特别的调整让人联想到了之前这一领域提出的估计器（estimator，参阅论文《Learning from Logged Implicit Exploration Data》）；但尽管如此，这还是很有意思。

下面这篇论文不是来自 NIPS 2016，但 Mineiro 表示：「我在一次喝咖啡的休息时间发现了它，真的非常赞！」：理解深度学习需要重新思考泛化（Understanding deep learning requires rethinking generalization）。

短评：当像素被重新排列或甚至完全随机时，卷积神经网络也可以理解标准的图像训练集。当然，在这种情况下泛化能力很差，但是这表明：和「局部像素统计组合（local pixel statistics composition）」架构相比，它们并没有人们认为的那样灵活。所以为什么它们的效果那么好呢？

NIPS 2016 趣闻

LeCun 的蛋糕

Yann LeCun 以题为《预测学习（Predictive Learning）》的演讲开启了主会议。这是一个高水平的演讲，他认为我们都应该真正多思考一下无监督学习。为了明确他的意思，他又拿出了自己蛋糕的比喻。他展示了一张蛋糕图片，把监督学习和强化学习分别比作是蛋糕的糖霜和樱桃，而无监督学习则就是蛋糕本身。

在这个演讲之后，LeCun 的蛋糕火了！并且开始出现在这一周的其它 NIPS 幻灯片中。