第一个发现（见图1），随着更多的样本被噪声替代，DNN 需要更多的容量才能达到最高性能。这表明网络能够以更简单的模式，也即更少的参数解释真实数据。

　　降低数据集的容量或增加数据集的大小会减慢对实际数据和噪声的训练。然而，实验2（图2）表明，对于实际数据这一效果不太明显。

　　在分析正则化对学习的影响时，研究人员发现，与（Zhang 等人，2017）的发现不同，如果使用随机标签训练，正则化（如 dropout 和高斯噪声）能够限制训练精度。研究人员采用 Zhang 等人论文中建议的方法进行了测试（详见论文）。

　　3. 结论

　　我们对记忆经验探究表明，学习噪声与学习真实数据是不同的。在拥有相同有效容量的情况下，DNN 学习真实数据时会使用比学习噪声时更简单的假设。这揭示了 DNN 先验对于学习和泛化的重要性，并提供了有效地评估显式正则化的有趣方式（即通过阻碍记忆的能力）。

***

　　深度神经网络强大泛化能力的真正原因是什么？

　　欢迎留下你的分析。

　　【进入新智元公众号，在对话框输入“170219”下载论文】

　　参考资料

https://openreview.net/pdf?id=rJv6ZgHYg

https://arxiv.org/pdf/1611.03530.pdf

https://theneuralperspective.com/2017/01/24/understanding-deep-learning-requires-rethinking-generalization/

https://medium.com/intuitionmachine/rethinking-generalization-in-deep-learning-ec66ed684ace#.3cycyk87b

【寻找AI独角兽】新智元联手10大资本

启动2017创业大赛

　　AI 创业大赛由新智元与10 家主流 AI 创投机构：蓝驰创投、红杉资本中国基金、高瓴智成人工智能基金、蓝湖资本、蓝象资本、IDG资本、高榕资本、中信建投证券、明势资本、松禾远望基金携手发起，由新智元主办，北京市中关村科技园区管理委员会、中关村科技园区海淀园管理委员会支持，是一场聚合了 AI 技术领袖和投资领袖的盛会。新智元向满怀雄心的未来AI独角兽提供强大的创投资源对接机会，顶级风投 TS 等你来拿。

　　点击文章下方阅读原文，在线填写报名申请报名表。该报名表为参与评选必填资料。

　　如有更多介绍资料（例如BP等），可发送至 [email protected]，邮件标题请注明公司名称。如有任何咨询问题，也欢迎向该邮箱发信联系。

　　大赛咨询，请添加新智元微信号：