编译：闻菲、张易、刘小芹

　　【新智元导读】深度学习盛会 ICLR 2017 日程及最佳论文今日出炉，新智元第一时间为你整理。其中一篇最佳论文以 DeepMind 在 ICLR-16 的最佳论文为基础，对能够简单自编程的“神经编程解释器”（NPI）做了性能提升。现在机器自主编程的能力进化到了什么程度？本文为你详细解读。

　　由 Yann LeCun 和 Yoshua Bengio 等大牛发起的 ICLR 会议虽然年轻，但却已经成为深度学习界不可忽视的盛事之一。以 arXiv 为基础起家的 ICLR 比 NIPS、CVPR 迭代的速度更快、评判的标准也更为“平易近人”：ICLR 的一个主要成因就是要聚在一起讨论那些好却被顶会拒之门外的论文。

　　今天，ICLR 公布了 2017 年的会议日程以及最佳论文。接下来，我们将简要介绍在为期 3 天的时间里，ICLR 邀请的讲者、覆盖的议题（这部分内容在后面），以及我们今天的主菜——三篇 ICLR-17 最佳论文。

　　在编辑角度上，我们不仅翻译了摘要，还节选了一些评审意见，包括 ICLR 评委会的意见和网友的讨论，其中不乏犀利的评价，让你能够对内容有一个比较全面的把握。

　　今年的最佳论文在内容上非常值得一看。其中，有一篇是以 ICLR-16 的最佳论文为基础做了提升——ICLR 2016 的最佳论文，DeepMind 团队开发了一个“神经编程解释器”（NPI），能自己学习并且编辑简单的程序，排序的泛化能力也比序列到序列的 LSTM 更高，有望取代初级程序员的工作——那么现在，机器自主编程的能力已经进化到什么程度？是不是非常令人兴奋？

最佳论文

　　最佳论文一：伯克利改进 DeepMind 神经编程解释器，实现编程架构通用化

　　最佳论文一是由伯克利的研究人员完成。题目是《通过递归实现神经编程架构通用化》。

摘要

　　根据经验，试图从数据中学习编程的神经网络显示出较差的通用性。此外，当输入的复杂度超过了一定水平，就很难去推断这些模型的表现。为了解决这个问题，我们提出用一个关键抽象——递归（recursion）来增强神经架构。作为一个应用，我们在神经编程器-解释器框架（Neural Programmer-Interpreter framework）上实现递归，包括四个任务：小学加法、冒泡排序、拓扑排序和快速排序。我们使用少量训练数据证明了该方法具有较好的可泛化性和可解释性。递归将问题分割成一个个更小的部分，并且大大减少每个神经网络组件的域，使其易于证明对整个系统行为的担保。我们的经验表明，为了让神经架构更稳健地学习程序语义（program semantics），有必要引入这样一个“递归”方法。

　　【ICLR 委员会最终决定】评委非常肯定该论文。该论文所讨论的话题很有意义，并且探讨了一个实用的方法。

　　评审意见1：演示了 NPI 能够学习解决汉诺塔问题！

　　评分：8：前 50% 接收论文，明确接收

　　评论：这篇论文认为递归对于神经编程架构非常重要，因为递归能够很好地泛化到测试用例域之外，而且能从更少的训练数据学习。这篇论文大部分基于 Reed＆de Freitas 的 ICLR 2016 论文《神经编程解释器》（Neural Programmer Interpreters），那篇论文中提出从程序痕迹（program traces）中学习，而本文是在具有递归调用的痕迹上训练 NPI 模型。作者仅对少量基本案例集和规则评估学习到的程序，展示了如何验证正确性，并且展示了 NPI 架构能够非常好地推断冒泡排序（Bubblesort）和汉诺塔（Tower of Hanoi）问题。

　　我喜欢这篇论文的地方在于，它提出的想法超级简单。正如作者提到的，唯一的变动是在训练管道上看到的执行跟踪。我实际上不知道这里的要点是什么——这是否意味着当执行跟踪可用时，我们就已经很好地解决了神经编程问题？以及这个问题是否开始得太简单？例如，一个更大的输入域（另一位评审委员也提到了）是 MNIST 数字。在这样的设置中，执行跟踪能够有效通过推断程序逻辑解耦识别数字的问题，因此，这样的问题不会比学习识别 MNIST 数字和从符号中学习冒泡排序更难。什么问题是我们能够访问执行跟踪，但无法使用该论文提出的方法推断的？

　　信心：4：评审者对该论文有信心，但不能肯定评价绝对正确。

　　＞＞作者回复

　　感谢评论！