干得漂亮！很高兴能看到NPI的提升版本。一个问题——您觉得这个方法有助于学习分治算法，比如快速排序吗？原来的NPI论文中的简单问题具有相当局部的结构，例如，在数组中保留两个指针，并在bubblesort中交换它们相关的值。我想知道通过跟踪学习的递归形式是否可以允许NPI学习更复杂的算法。

　　＞作者 Jonathon Cai 的回复

　　感谢提问！

　　是的，递归跟踪对学习更复杂的算法有帮助。使用递归调用实现分治（divide and conquer）类型的算法是很自然的，因此我们可以构造递归跟踪，并将它们作为训练数据提供给模型。用这用方法实现快速排序不难，我们已在本论文的研究中进行了这个任务。

　　好，接下来是另外两篇最佳论文的介绍。

　　有趣的是，这两篇论文形成了比较鲜明的比对，论文二备受赞誉（评审意见出现多个 9 分的高分），针对提问作者也给出了详尽的回复，称得上是模范。篇幅有限，大家可以去网站看原文。

　　而另一篇、第三篇“Bengio兄弟对决论文”，争吵很多，有人更是直言这篇最佳论文“没有用”，针对众多的提问（主要是论文第五部分），至少到我们发稿时为止，作者尚未做出回复。

　　最佳论文二：谷歌与 OpenAI 合作，半监督学习，差分隐私

　　第二篇最佳论文是来自宾夕法尼亚州立大学、谷歌（包括谷歌和谷歌大脑），以及 OpenAI 的研究人员合作完成的《通过半监督知识传递，使用私密训练数据进行深度学习》。

　　看到作者里 Ian Goodfellow 的名字，你想到了——没有错！这篇文章也使用了GAN，是近来有关差分隐私深度学习的一篇好文章。

摘要

　　有些机器学习应用涉及敏感训练数据，比如临床试验中患者的医疗史。模型可能无意和隐含地存储一些训练数据；因此仔细分析模型可能会泄露敏感信息。

　　为了解决这个问题，我们展示了一个普遍适用的方法，为训练数据提供强有力的隐私保证。该方法以一种黑盒的方式，结合了多个使用不相交数据集训练的模型，例如不同子集用户的记录。由于这些模型都直接依赖敏感数据，因此都是不公开的，作为教育“学生”模型的“教师”。学生通过学习所有教师的噪音投票来预测输出，不能直接访问单独的教师，也无法获取基础数据或参数。学生的隐私属性可以从直观上去理解（因为没有哪个教师能单独决定学生的训练，也就没有哪个单独的数据集能决定学生的培训），也能通过差分隐私（differential privacy）的方式被正式地理解。即使有攻击者（adversary）既能访问查询（query）学生，也能审查（inspect）其内部机制，学生的隐私属性也不会改变。

　　与此前的工作相比，这种新的方法对教师是如何训练的抱有很弱的假设（weak assumption）；并且适用于任何模型，包括像深度神经网络（DNN）这样的非凸模型。得益于改进后的隐私分析和半监督学习，我们在隐私和实用性（utility trade-off）方面，在 MNIST 和 SVHN 上取得了最好的结果。

　　【一句话总结】通过一组在私密数据分区上训练的教师的集合进行知识传递，让带有对抗生成网络、能够保护隐私的学生模型进行半监督学习。

　　【ICLR 委员会最终决定】论文提出了一种用于差分隐私的、通用的教师-学生学习方法，其中学生通过学习一组教师的噪音投票进行预测。噪音使得学生能够拥有差分隐私，同时在 MNIST 和 SVHN 上取得很好的分类结果。论文写得很好。

　　＞＞关于隐私丢失（privacy loss）的简单问题

　　匿名用户：我认为这篇论文影响深远。我的问题是在 Definition 2 中的“辅助输入”（auxiliary input）是什么。能从理论角度和具体到你们论文分别解释一下吗？

　　Kunal Talwar：Definition 2 中的辅助输入指所有数据库以外的信息，在我们的论文里，辅助输入可能是学生想要的一个被教师用差异隐私的方式标记的点。