观点 | Yoav Goldberg撰文再回应Yann LeCun：「深度学习这群人」不了解NLP(附各方评论)

来源:机器之心

原标题：观点 | Yoav Goldberg撰文再回应Yann LeCun：「深度学习这群人」不了解NLP(附各方评论)

选自Medium

机器之心编译

作者：Yoav Goldberg

参与：黄小天

昨日，直播，机器之心发布了一篇题为《从 Yoav Goldberg 与 Yann LeCun 争论，看当今的深度学习、NLP 与 arXiv 风气》的文章，文中 Yann LeCun 在 Facebook 对 Yoav Goldberg 的批评文章做出了回应。接着，Yoav 又在 Medium 对 Yann 的回应进行了再回应，甚至稍后在推特上也有争论。机器之心对 Yoav 的第二次发文进行编译，并广泛收集了国内外各个平台上的各家评论，试图对这次事件有一个全面客观的描述。译文内容不代表机器之心立场。原文链接见文末。

很感谢大家对于我上篇博文（An Adversarial Review of「Adversarial Generation of Natural Language」）的关注和讨论，也很感谢 Yann 在 Facebook 上做出的回应。下面，我将对其回应做一次再回应。

（我选择了在 Medium 而不是 Facebook 上做再回应，是因为我并不太常使用 Facebook，所以索性不用。我已经把大把时间花在了社交网络上，不想再多跳进一个坑。同时，Medium 更有利于我组织文章格式，把控内容。）

Yann 指出我的上篇博文是「背弃式」的（back-pedaling），我并不如此看。对于上篇博文中批评的那篇蒙特利尔大学的论文，我言之有据，atv，虽然不是严肃的论文形式，但是其表达的观点不会改变。不管怎么样，下面我会继续用我的「背弃式」言论来回应 Yann：

我并不反对将深度学习方法应用于自然语言任务上。

我的意思是说，come on。我是很多把深度学习用于自然语言的论文的联合作者，我曾做过题为「LSTM 应用」的演讲。最近我发表了一本关于如何把神经网络方法应用于 NLP 的书籍。深度学习方法正在为了 NLP 而发生改变，我认为这部分现在要很好地确立起来。

我所反对的是这样一种趋势，深度学习这群人（deep-learning community）对于其所要踏入的领域（包括 NLP）只有肤浅认识，不多花时间对问题领域做深入了解就直接给出大而未经证实的主张。这不是「交流机制还没有建立」的问题，而是不花时间和精力去通晓你所在领域的问题。不一定要知晓先前的所有工作，但要知道基本的定义和评价指标。宣称取得了「当前最佳的汉语诗歌生成结果」（引自论文摘要）是荒诞的。声称「我们评估了 CFG 的使用」，却没有搞明白 CFG 代表什么不仅仅是草率、马虎的问题了。使用 PCFG 分配的可能性作为衡量以「捕捉句子的语法性」是完全错误的（并非不道德）。

（并且写下由 1-hot 编码向量组成的矩阵外表上看起来和盲文代码相似，因此这是「我们的方法为什么有效」的灵感（Zhang 和 LeCun 2015 arXiv 论文 1-4 版 https://arxiv.org/pdf/1502.01710v4.pdf），这篇论文是愚蠢的。）

当我说「你应该尊重语言」时，我并不是在说你应该尊重之前的其他努力和方法论（尽管也可以对你很有帮助），而是在说你应该去注意所要解决问题的细微差别。至少有个足够的了解，这样你的评估才有意义。

一些「核心深度学习」研究者在这方面做的很好，贡献很大。Kyunghyun Cho（译者注：纽约大学计算机科学系助理教授）也许是其中最突出的一个。

现在，回到 arXiv 的问题上来：

我认为 Yann 的回应在这个问题上错失了重点。我并不介意在 arXiv 上快速发文。我看到了 arXiv 出现的明显收益和快速转变。但是也应该知道其缺点。我尤其关心科学与 arXiv 所推动的公共事业的混淆；雪球效应以及权力的滥用；深度学习社区中现有的一些出版现象。

提早在 arXiv 上发文没有问题，但是名不副实以及过分宣称就有问题。马虎的带有大而空洞标题的论文（比如自然语言的对抗式生成）就是有害的。这正是合理的专利系统与沽名钓誉的真正区别。

声称在用于离散序列的 WGAN 中使用了 softmax 而不是独热输出没有问题，但是占坑声称将对抗式训练应用于 NLG 就存在问题，正如这篇论文所做的那样。

Yann 的论点可能是：「但是人们可以阅读论文，辨别出什么才是好论文，时间会告诉我们答案。」时间的纠正也许是对的，但是中短期内知名团队的过分宣传的论文依然是有害的。大多数人并不深读一篇论文，他们只看个标题、摘要或简介，但是对于知名团队的论文，人们倾向于相信其主张而不质疑。认真的研究者也许不会这样做，但是大多人很可能会被误导。这里我所指的大多数人并不真正工作于这一精确的子领域。这包括产业界人士、同僚、潜在的学生以及论文和津贴的潜在评论者。在这篇论文出来的很短时间内，我在若干个场合下已经听说，「哦，你对生成感兴趣？你尝试使用 GAN 了吗？我看到在最近的这篇论文中他们把 GAN 应用于 NLG 取得了很酷的结果。」这对于在来年申请津贴的 NLG 研究者来说极其有害和令人厌恶，因为他们要么浪费宝贵的时间和精力处理这篇论文和 Hu 等人的论文，并解释它们为什么不相关；要么他们因为致力于「这一已经解决的问题」而被解雇，尽管这篇论文和 Hu 等人的论文并没有实际贡献太多价值，尽管两篇论文的评估都非常糟糕。