本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

码报:【j2开奖】深度学习盛会 ICLR(2)

时间:2017-02-25 06:09来源:本港台现场报码 作者:118KJ 点击:
只要程序语义有明确定义,以及使用足够的训练集,我们提出的模型从执行跟踪中推断程序的能力没有任何明显的限制。模型学习程序的能力很大程度上取

  只要程序语义有明确定义,以及使用足够的训练集,我们提出的模型从执行跟踪中推断程序的能力没有任何明显的限制。模型学习程序的能力很大程度上取决于训练集,如果训练集不够全面,学习到的程序会不准确,因为模型缺乏有关如何处理在训练时没见过的情况的信息。

  执行跟踪为模型提供非常详细的监督,这使得从执行跟踪学习比从输入 - 输出对学习更容易。正如我们在论文中提到的,在未来的研究中,一个重要的方向是减少训练数据中的监督量,创建将递归纳入架构本身的模型。

  评审意见2:一个使 NPI 更实用的简单扩展

  评分:8:前 50% 接收论文,明确接收

  评论:这篇论文非常有趣,而且相当容易阅读。作者提出了一个简单,但非常实用的方法,使神经编程解释器性能显著增强。通过允许递归,NPI 能利用更少的执行跟踪更好地进行泛化。一个小小的,但很厉害的扩展可以如何显著增加机器学习方法的实用性,本文是一个很好的范例。

  我也欣赏这篇论文和原本的 Deepmind 的论文(Neural Programmer Interpreters)使用了相同的概念。因为我不是这个话题的专家,我同时阅读了那篇论文。我提出的一个批评是,论文对通用化/泛化(generalization)的证明过程有点模糊。对于论文中的数字例子,你可以循环遍历所有可能的执行路径,直到下一个递归调用。然而,这种方法应该怎样泛化到连续的输入空间(例如 Deepmind 论文里的车辆的3D示例)。在连续的实例中,似乎对通用化的证明仍然很难解决?

  信心:3

  作者回复

  感谢评论!

  关于对连续空间的证明问题类似下面提出的问题之一,可以参看我们在“验证程序可行性”回复下的解释。

  我们计划清理我们的源代,并在最近发布。

  评审意见3:改进了 NPI 的训练和分析

  评分:9 在会议接收论文中排名前15%,强烈接收

  评论:本文显著改进了原本的 Deepmind 的 NPI 研究,指出当以递归形式在轨迹上进行训练时,模型泛化会好得多。作者展示了对于加法和冒泡排序更好的样本复杂性和泛化结果,并添加了两个新的、更有趣的任务 - 拓扑排序和快速排序(基于审阅者讨论添加)。 此外,他们实际上“证明”了该模型学习的算法泛化表现完美,就我所知这在神经程序推理(induction)中还是首次。

  信心:5 审阅者充分确定评估正确,并且对相关文献非常熟悉。

  >匿名用户:可证明vs可测试("Proving" vs "Testing")

  我也喜欢这篇论文,也认为本文对于NPI工作有推进价值。

  然而,第一次阅读时,我就对术语“证明”的使用感到恼火。 该论文证明了,在某些情况下,对有限的一组值进行_testing_就足以奠定整个输入类的正确性。 然而,这不是普适的证明策略。 这是唯一可行的,因为输入域很简单,只有少数情况需要考虑。 然而,当输入域扩展时,例如,当数字的one-hot编被MNIST数字替换时,这很快就成了问题。 我希望NPI(和这里提出的递归扩展)能够用具有适当结构的域特定编码器处理这一问题,但本文描述的“证明”策略就不可行了 。 因此,我不相信这部分贡献的实际价值,因为它似乎只对玩具实例可行。

  作者回复

  谢谢您的评论!我们同意,在极大规模的输入域环境下(比如可理解输入)穷尽所有可能是不可行的。总体来说,带着对包含可理解输入的程序100%的确定性去推理,是非常困难的。然而,atv,在貌似合理的可理解空间覆盖许多个点,并查看这些针对输入的学习程序的正确性,则是可能的。在未来的工作中,我们会考虑如何针对极大规模输入域设计一个更合适的验证流程。

  >>匿名用户:同意。对于可理解输入,穷举策略是不可行的。如何现在没有用这种策略,就应该在论文中清楚地标明。

  作者回复:我们已经在论文中添加了这个标注。(Section 3.3的结尾处)

  评审意见4:对其他任务的适用性

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容