本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:【LeCun论战Yoav】自然语言GAN惹争议:深度学习远

时间:2017-06-11 02:55来源:118图库 作者:开奖直播现场 点击:
编译:熊笑、文强、刘小芹 【新智元导读】一篇在 ArXiv 上非常火的文章《自然语言对抗生成》引发了 Yann LeCun 和 Yoav Goldberg 的激烈论战。Yoav Goldberg 措辞激烈:“拜托你们这帮搞深度

编译:熊笑、文强、刘小芹

【新智元导读】一篇在 ArXiv 上非常火的文章《自然语言对抗生成》引发了 Yann LeCun 和 Yoav Goldberg 的激烈论战。Yoav Goldberg 措辞激烈:“拜托你们这帮搞深度学习的人,别再抓着语言不放并声称自己已经解决语言的问题了!” Yann LeCun 则一脸惊愕:“这言论居然来自 Yoav ?他自己也在从事将深度学习应用于 NLP 的研究啊!”二人的论战,更直接涉及了 ArXiv 的模式及所谓的“占坑现象”。同时,也凸显了 NLP 领域语言学家和计算机科学家那暂且平息却远未消弭的对立情绪。

6 月 2 日,新智元曾介绍过一篇在 ArXiv 上非常火的文章《自然语言对抗生成》(Adversarial Generation of Natural Language),作者包括著名的《深度学习》(Deep Learning)一书的作者 Aaron Courville。论文用 GAN 解决自然语言处理问题,“在中国诗词数据集上取得目前最好结果”。研究人员表示,他们为训练 GAN 生成自然语言提供了一种直接有效的方法。

然而,就是这篇论文,却引起了深度学习界大神 Yann LeCun 和 Yoav Goldberg 的激烈论战。当然,也许不应该称作是深度学习界的论战,因为后者坚持认为自己是语言学界的。

在《自然语言对抗生成》在 ArXiv 上火了以后,先是 Yoav Goldberg 发了一篇推特。

  

wzatv:【LeCun论战Yoav】自然语言GAN惹争议:深度学习远

之后,虽然认为自己“有更重要的事情要做”,可 Yoav Goldberg 还是又写了一篇长文,痛快淋漓地阐明了自己的观点。他说:“拜托你们这帮搞深度学习的人,别再抓着语言不放并声称自己已经解决语言的问题了!”当然,他的用词要更强烈一点,这一点可以从下面的截图上看出来。

  

wzatv:【LeCun论战Yoav】自然语言GAN惹争议:深度学习远

看到这篇文章,现任脸书人工智能实验室主任的 Yann LeCun 颇为不满,他在几个小时前刚刚在 Facebook 撰文,对 Yoav 进行了驳斥,atv,他说:“这言论居然来自 Yoav ?他自己也在从事将深度学习应用于 NLP 的研究啊!”

现在,让我们逆向追溯这场论战,从 Yann LeCun 到 Yoav Goldberg 再到论文原文,看看论战的焦点及背后的意义何在。

Yann LeCun:这言论居然来自 Yoav ?他自己也在从事将深度学习应用于 NLP 的研究。

  

wzatv:【LeCun论战Yoav】自然语言GAN惹争议:深度学习远

Yann LeCun 在 FaceBook 上发文如下:

上传论文到 ArXiv 没坏处,至少可以先把坑占上。

Yoav Goldberg 的这篇文章在过去几天内已经在 Interwebz 上广泛流传,atv,连篇累牍地表达了对 MILA 上某篇关于文本生成的论文所使用的方法论的不满。

这篇文章同时也表达了对于深度学习社群迅速上传论文至 ArXiv 这种惯常做法的不满。我实难苟同。

我无意为 Yoav 讨论的那篇论文辩解。我连读都没读过。但是 Yoav 有很多在我听来相当自卫式的言论,包括“拜托你们这帮搞深度学习的人,别再抓着语言不放并声称自己已经解决语言的问题了”,以及“语言对我而言很神圣,对搞深度学习的人而言则不然”。这听起来很像其他社群的人每当神经网络或深度学习在他们的领域稍有突破时所持的论调,例如上世纪九十年代初的字符识别、2010年前后的语音识别、2014年的计算机视觉,以及现在的自然语言处理。我理解背后的原因,但是这听起来完全就是掀起论战,更让人惊愕的是这言论还来自 Yoav, 他自己也在从事将深度学习应用于自然语言处理的研究。

公平地说,这篇文章现在已经被大量的澄清(又称“往回找补”)变得好一些了了(https://medium.com/@yoav.goldberg/clarifications-re-adversarial-review-of-adversarial-learning-of-nat-lang-post-62acd39ebe0d)。

Nikos Paragios(他所说的“不那么老”的人)也写了一篇类似的自卫式的文章,哀叹了 DL 所引起的计算机视觉的方法论转变。(https://www.linkedin.com/pulse/computer-vision-research-my-deep-depression-nikos-paragios)

任何时候一个社群与另一个社群发生冲突,就有好戏看了。起初社群 A 认为社群 B 的论文技术性较差,社群 B 则认为 A 的论文在方法上有缺陷,结果低于基准线。 这种事情一遍又一遍地发生,机器学习社群有时会扮演 A(B 是语音,视觉,图像,NLP),有时候扮演 B(A 是统计、优化或 CS 的各种理论分支)。除非两个社群能有共同的方向,否则将一个社群的标准应用于另一社群的研究工作上就没有道理。如果社群被视为不同方向的单位向量,A 在 B 上的投影比 B 短,你就可能会认为 A 低于 B,但反之亦然:B 在 A 上的投影也比 A 要短。社群间发展出共同的语言并采用彼此的最佳方法是需要时间的。

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容