编译参与：吴攀、李亚洲、杜夏德、微胖

近日，2016/1010/153351.html">NIPS 官网开放了部分录用文章的 Spotlight Videos，南京大学 Ph.D. Candidate 魏秀参在查看了这些视频之后「特别将一些有趣、有料的 highlight 出来分享给大家」，原分享文章发表在他个人的知乎专栏。机器之心在获授权后在此基础上编译了相关论文的摘要。（注：排名不分先后，但魏秀参根据自己的兴趣在每篇文章后用「★」标记出了推荐指数，五星为最高。）点击「阅读原文」下载所有论文。

　　魏秀参专栏：https://zhuanlan.zhihu.com/p/24158507

全部spotlight video链接：https://nips.cc/Conferences/2016/SpotlightVideos

　　1.Fast and Provably Good Seedings for k-Means：传统 k-Means 算法受初始化影响较大，虽然后来有 k-Means++算法来优化初始化结果，但该算法不能适用于海量数据。本文提出了一种新的更优且高效的针对 k-Means 初始化方法（oral paper）★★★

　　论文地址：https://papers.nips.cc/paper/6478-fast-and-provably-good-seedings-for-k-means.pdf

　　摘要：在为 k-means 获取高质量聚类（clustering）中，发现初始聚类中心的任务——seeding——是极其重要的。然而，当前最佳的算法 k-means++seeding 在大规模数据集上扩展不是很好，因为其内在是序列形式的，并且需要 k 值在数据中的完全通过。近期的研究表明，马尔科夫链蒙特卡罗采样法（Markov chain Monte Carlo sampling）可被用来有效地近似 k-means++ 的 seeding 步骤。然而，这一结果需要在生成分布的数据上进行假设。我们提出了一种简单的、更快的 seeding 算法，即使在没有数据上的假设的情况下也能产生好的聚类。我们的分析表明该算法可在解决方案质量和计算成本之间良好地权衡，能将 k-means++ 的 seeding 速度提升数个级别。我们在多个真实世界数据集上的大量实验中验证了该理论成果。

2.Hierarchical Question-Image Co-Attention for Visual Question Answering ：针对 VQA 提出不仅要在 image domain 需要 attention，同时为了增加鲁棒性还需在 question domain 同样加入 attention；★★

论文地址：https://arxiv.org/pdf/1606.00061v3.pdf

视频地址：https://www.youtube.com/watch?v=m6t9IFdk0ms&feature=youtu.be

摘要：近期有大量论文提出了用于 Visual Question Answering（VQA）的注意模型，VQA 的目标是为了生成突出了关于回答问题的图像区域的空间图（spatial maps）。在此论文中，我们认为除了建模「看哪里（where to look）」或视觉注意（visual attention）之外，建模「听哪些词（what words to listen to）」或问题注意（question attention）同样重要。我们提出了一个全新的用于 VQA 的联合注意模型（co-attention model），其可以联合推理图像和问题注意。此外，我们的模型可以通过一个全新的 1 维卷积神经网络以层级的形式推论问题（并最终能通过联合注意机制推论相应的图像）。我们的模型将 VQA 数据集上的前沿成果从 60.3% 提升到了 60.5%，在 COCO-QA 数据集上的结果从 61.6% 改进到了 63.3%。通过使用 ResNet，在 VQA 数据集上的结果进一步改进到了 62.1%，COCO-QA 的结果改进到 65.4%。

3.Residual Networks Behave Like Ensembles of Relatively Shallow Networks：实验角度探究了 ResNet，提出 ResNet 更像很多小网络的集成。比较有意思的 paper；★★★★★

论文地址：https://arxiv.org/pdf/1605.06431v2.pdf

视频地址：https://www.youtube.com/watch?v=jFJF5hXuo0s

摘要：在此文章中，我们提出了一种对残差网络的全新解释：残差网络可被视为不同长度的多个 path 的集合。此外，通过在训练中只使用短 path，残差网络能够使非常深度的网络成为可能。为了支撑这一观点，我们将残差网络重新编写为 path 的显性集合。不像传统的模型，通过残差网络的 path 的长度不同。此外，一个 lesion study 揭示出这些 path 显示出了 ensemble-like 行为，也就是不很强的依靠彼此。最后，也是最惊人的，大部分 path 都要比预期的短，在训练过程中也只需要短 path，这是因为长 path 对梯度没有任何贡献。例如，在 110 层的残差网络中的大部分梯度来自于只有 10-34 层深度的 path。我们的结果显示该方法的一个主要特性是使得训练极其深的深度网络成为可能：残差网络通过引入短 path 而避免梯度消失的问题，这些短 path 可以使梯度穿过非常深度的网络的延展。

4.Boosting with Abstention： 利用 Boosting 框架处理了当有「弃权」情况产生时的分类情况；★★

　　论文地址：https://papers.nips.cc/paper/6335-boosting-with-abstention

视频地址：https://www.youtube.com/watch?v=NTKIXcpoJGM&feature=youtu.be