参与：黄小天、吴攀、晏奇

最近，来自以色列 Bar Ilan 大学的计算机科学高级讲师 Yoav Goldberg 撰文批评了蒙特利尔大学的新论文《Adversarial Generation of Natural Language》，指责了该论文作者，乃至整个 arXiv 目前出现的不良风气。Yoav 的言论引起了学界的关注，Yann LeCun 等人很快也发出了回应。机器之心对这篇文章和 Yann LeCun 的回复进行了编译介绍，但文章内容并不代表机器之心的立场。

Or, for fxxks sake, DL people, leave language alone and stop saying you solve it.

最近，我在 Twitter 上评价了一篇来自蒙特利尔大学 MILA 组的论文《Adversarial Generation of Natural Language》，我不喜欢，有人让我解释一下原因。

一些人建议我写一篇博客，所以我写了这篇文章。这篇文章写得很匆忙（毕竟，我有真正的工作要做），而且因为这不是学术文章，也就没有参考文献这些东西了。文章里可能有些错误，但我对内容完全负责。欢迎讨论。

尽管看起来我好像是在针对这一篇论文（事实上我也是这么做的），但我想传递的信息是针对了整个「用于语言的深度学习」论文的趋势，尤其是那些来自「深度学习」社区的论文，而非来自「自然语言」社区的论文。

许多论文都有非常类似的缺陷。我「选择」这一篇是因为它得到了一些积极的关注，也因为这篇论文的作者来自一个非常强的深度学习团队，（我希望）能够为自己的热度负起责任。另外，我觉得这篇论文方方面面都很糟糕，下面我会解释原因。

这篇博文也是针对 arXiv 发布方式的意识形态方面的行动（ideological action）：尽管我同意 arXiv 上短时间的发布周期比现在长时间的同行评议流程更好，但现在人们在使用 arXiv 树旗帜、占山头，规避同行评议过程，而且这个趋势已越来越显著。这种情况对于那些「强」研究组而言更是显著。目前来说，将你的成果（通常是初步的和不完整的）发在 arXiv 上没有什么实质的坏处，只有潜在的好处。

我相信这种情况应该有所改变，而且如果在同行评议之前和过程中就将论文发布在 arXiv 上，应该承受应有的风险。

这篇批评文章就代表了这种风险。我希望看到更多类似的文章出现。

为什么我会在意 arXiv 上的文章得到了什么？因为很多人看待这些论文的态度很严肃，尤其是当这些论文来自 MILA 这样的声名显赫的实验室时。现在，每一篇关于自然语言生成或文本对抗学习的成果都必须引用 Rajeswar et al 2017 了。而且它们的引用会越累积越多。声望也会越来越大。尽管在语言生成方面，这是个非常非常糟糕的研究成果。而人们还是会复现他们的设置（为了比较！为了科学！！）。而这是个非常糟糕的设置。而其他人，比如严肃的 NLP 研究者，将会想出一个在真实任务上好的实际的设置，或者一些更加精妙的东西，然后他们必须将结果和 Rajeswar et al 2017 比较。我并不是说他们的任务和他们的设置是不相关的，所以不应该存在，而是旗子已经被插在那里了。

所以，让我们首先从解剖这篇论文开始。

首先表个态：

态度

正如我在 Twitter 上所言，从技术方案到评估，我挺不喜欢这项工作的一切。但最让我厌烦的是其态度和傲慢自大。

我从事语言理解超过 10 年，如果说有什么感悟的话那就是人类语言广大而复杂，充满挑战，它极其精微，无比奇特，有太多东西不为人所知，却又时时带来惊喜。尽管自然语言处理研究者和自然语言生成研究者（以及语言学家，他们做了大量提升工作）在理解和处理语言方面取得了突出进展，我们依然只是触及到了语言的表面。

我非常尊重语言，深度学习那群人并不是。否则，你怎么解释像「自然语言的对抗性生成（Adversarial Generation of Natural Language）」这样的论文题目？

这个标题表明任务已接近完成，现在我们可以生成自然语言（通过对抗性训练），听起来让人兴奋。但是，你再看看实际的论文，从头到尾，你会看到表 3、4、5 中包含由模型生成的语句实例，比如其中以下的令人印象深刻的自然语言语句：

What everything they take everything away from

How is the antoher headache

Will you have two moment ?

This is undergoing operation a year.

这些句子甚至在语法上都不通。

现在，我意识到对抗性训练当下非常火热，而对离散符号序列的对抗性训练则非常困难。也许论文（下面我将会介绍）中提出的技术方案确实相比于以前那些功能较弱的技巧大大提升了结果。如果情况确实这样，这很可能值得一提。其他人也会看到，并作进一步提升。科学！进步！没错，这正是我要看到的。