任何时候，一个群体和另一个发生了冲突，更好的事情就会发生。期初群体 A 阅读了群体 B 提交的论文，认为它在技术上水平不足，而群体 B 认为群体 A 的观点具有方法论上的缺陷，结论没有说服力……这种事情在深度学习社区里发生过无数次，我们有时候扮演 A（B 会是语音、视觉、图片、NLP），有时候扮演 B（A 是统计、优化和计算机科学的各种理论分支）。讲一个群体中的标准应用于另一个群体是没有意义的——除非两个群体找到了共同的方向。如果把不同的社群被视为不同的单位向量，则 A 在 B 上的投影比 B 短，你可以认为 A 小于 B，但反之亦然：B 对 A 的投影比 A 短。社区之间形成共同语言需要时间，这需要两方充分达成共识。

视线回到 arXiv 上，Yoav 等人一直抱怨说在 arXiv 上发表预印版论文有一种「立旗子圈地」的行为：作者有了一个想法，很快粗略地付诸实施，在 arXiv 上贴上了一个初步结果，随后便开始期待所有人将它视为「第一个」。有些人认为这是不公平的，因为在研究的道路上，想法并不是全部，还有很多事情要做。这个看法没错。但想法或技术的发展之路就是这样：有一个想法，实现它，展示它可以工作，使其在玩具级问题上工作，使其在一个真正的问题以及其他方法上工作，击败已有记录，提出一套有关它的理论，解释理论上为什么它可以工作，优化和简化它，然后泛化它，开发与之相关的技术，最后，开发有关它的产品，包装和销售产品....

在这个漫长的过程中，在每个节点上做出贡献的人都应该获得相应的名声。然而在科学的历史上，很少有人能够拥有「率先发现一个想法」的地位（当然我也听说过一些仍然无名的人，他们一直在声称自己应该拥有一些）。

在 arXiv 上发表论文比传统的发表方式高效得多，但它当然不会取代传统的同行评议论文方式。是的，它改变了名声获取的游戏规则，但这没什么大不了的。为什么 arXiv 论文发布方式更有效率？因为它遵循「集市」模式，而不是传统论文发表的「教堂宣讲」模式。

可参阅 Eric Raymond 的文章《Cathedral and the Bazaar》：

在软件上，集市模式就是 Linux 模式：快速发布，经常发布，而教堂宣讲模式则是 GNU/Hurd 的模式：在没有 bug 前永远不会发布新版本。相比之下，集市模式明显更具效率。

为什么？arXiv/集市模式总是嘈杂而混乱的，但这样的过程也更快速，因为人们总是能得到及时的反馈。这就像是随机梯度和批量梯度之间的差异：随机梯度嘈杂而混乱，但更快，更有效率。

我认为，未成形的论文和粗糙的方法论最终都会获得它应有的地位。在研究体现出它的价值以后，社区就会认识到研究者的贡献，并给与他们应有的地位，总是这样。

论文：Adversarial Generation of Natural Language

论文链接：https://arxiv.org/abs/1705.10929

摘要

生成对抗网络（GAN）已经得到了计算机视觉社区的极大关注，得到了令人激动的图像生成结果。但是，来自从噪声中进行的自然语言对抗性生成的发展是比不上图像生成方面的进展的，而且还远远落后于基于似然的方法（likelihood-based methods）。在这篇论文中，我们仅仅使用了一个 GAN 目标就在自然语言生成上前进了一步。我们为解决不依赖梯度估计器（gradient estimators）的离散输出空间问题引入了一个简单的基线，并且表明其可以在中国诗歌生成数据集上实现当前最佳的结果。我们给出了在无上下文（context-free）和概率无上下文（probabilistic context-free）语法上句子生成的定量结果，以及定性的语言建模结果。我们还描述了一个可以基于句子特征生成条件句子的有条件的版本。

原文链接：https://medium.com/@yoav.goldberg/an-adversarial-review-of-adversarial-generation-of-natural-language-409ac3378bd7

https://www.facebook.com/yann.lecun/posts/10154498539442143

本文为机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]