一般来说，这类输入可以被视为机制 M 定义的一部分，但在算法自适应的情况下，正式的隐私分析会要求它是输入的一部分。目前来说，这还是出于技术的原因：要分析总的隐私成本，我们需要机制定义不依赖于数据库。在我们论文的设置中，学生需要一个新的标记点，而这一点多取决于学生在之前的点上获得的标签。由于我们的时刻分析存在辅助输入，我们就能轻松应对这种适应性的问题。

　　＞＞关于学生模型 GAN 训练的问题

　　匿名用户：多谢你们提交了这样一篇有趣的论文。论文中，学生模型使用 Salimans 等人 2016 年论文中提出的半监督方法进行训练。如果我没有理解错的话，论文中教师集合（ensemble）用于监督学习，而不敏感信息用于无监督学习。所以，我的问题是“生成器在哪里？”教师网络的聚合被视为 GAN 框架里的生成器吗？

　　Ian Goodfellow：生成器网络是另外单独参数化的模型，创建后与学生网络同时接受训练。教师不能作为生成器，教师可以接收图像作为输入，输出的一个标签。生成器需要将噪音作为输入，生成一幅图像作为输出。

　　最佳论文三：Bengio 兄弟对决之重新理解深度学习的泛化

　　无需置疑，这可真是篇备受争议的最佳论文。

　　还是先来回顾内容。

摘要

　　尽管体积巨大，成功的深度人工神经网络在训练和测试性能之间可以展现出非常小的差异。过去一般将其归功于泛化误差小，无论是对模型谱系的特点还是对于训练中使用的正则技术来说。

　　通过广泛的系统的实验，我们展示了传统方法无法解释为什么大规模神经网络在实践中泛化表现好。 具体来说，我们的实验证明了用随机梯度方法训练的、用于图像分类的最先进的卷积网络很容易拟合训练数据的随机标记。这种现象本质上不受显式正则化影响，即使我们通过完全非结构化随机噪声来替换真实图像，也会发生这种现象。我们用一个理论结构证实了这些实验结果，表明只要参数的数量超过实践中通常的数据点的数量，简单两层深的神经网络就已经具有完美的有限样本表达性（finite sample expressivity）。我们通过与传统模型进行比较来解释我们的实验结果。

　　【一句话总结】通过深入系统的实验，我们指出传统方式无法解释为什么大规模神经网络在实践中泛化表现良好，同时指出我们为何需要重新思考泛化问题。

　　【ICLR 评委会最终决定】作者提供了深度神经网络拟合随机标注数据能力的迷人研究结果。调查深入，有启发性，鼓舞人心。作者提出了a）一个理论实例，显示具有大量参数和足够大的 wrt 样本的简单浅层网络产生了完美的有限样本表达性；b）系统广泛的实验评价，以支持研究结果和论点。实验评价的考虑非常周全。

　　＞＞最新评论：没用！

　　Xiang Zhang（2月23日）：我很高兴可以被ICLR 2017接受。但是我想表达我个人的意见（与我的实验室，我的导师等无关），这篇论文有点被高估了。 称这篇论文具有“突破性”，在我看来有点可笑，它对理论社群是不公平的。我对作者或评审团没有什么意见，而只是针对论文中实验和理论的技术细节。

　　TL;DR：论文指出泛化对随机标签是个糟糕的问题。当然是这样，但这没有什么意思。

　　在2.2节第2段，对实践中 Radamacher 复杂性为1的说法有点太武断了。值得注意的一个细节（但这不意味着论文是错误的）是结论假定假设集合H中的所有函数在绝对值上限制于1。这只有在H被定义为误差函数的集合，或者H是设定的假设函数，但只用于二元分类问题时才是正确的。随机标记的实验似乎是用多级分类进行的。 在这种情况下，当H被定义为多级分类问题的误差函数的集合时，可以得出复杂度为1的结论，这是不确切的，尽管这结果对我来说似乎是正确的（我为我的武断道歉）。

　　然而，Rademacher的复杂性也可以用于约束损失（或能量在基于能量的模型框架中），这是我们的算法真正优化的目标。 有些论文就是这么使用Rademacher的复杂性。 优化多级分类问题将减少损失的上限和下限之间的差异，因此降低Rademacher复杂度的损失，但是在正确的标签情况和随机标签情况之间存在非常不同的方式。 因此，对随机标签的实验可能无法描述正确标签中Rademacher复杂性的损失。