分布式表征的科学应用越来越多，利用深度学习为语言现象建模，是神经网络之前兴起的两大特点。后来，由于网络上引用和确定深度学习研究工作上有些混乱，我认为有两个几乎不再被提及的人：Dave Rumelhart 和 Jay McClelland。从圣地亚哥的并行分布式处理研究小组开始，他们的研究项目就旨在从更加科学和认知的角度研究神经网络。

利用神经网络来解决规则统领下的语言行为（rule-governed linguistic behavior）问题是否妥当？现在，研究人员对此提出了一些好的质疑。资历老一些的研究人员应该还记得，多年前有关这一问题的论战让 Steve Pinker 声名鹊起，也奠定了他六位研究生职业生涯的基石。篇幅有限，我就不在这里展开了。但是，从结果上来看，我认为那一场争论富有成效。争论过后，Paul Smolensky 进行了大量研究工作，研究基础分类系统如何出现，以及如何在一个神经基质中表征出来（Smolensky and Legendre 2006）。实际上，人们认为 Paul Smolensky 在兔子洞里陷得太深，atv，他将大部分精力投入到研究一种新的音系分类模型——最优化理论（Optimality Theory）（(Prince and Smolensky 2004）中。很多早期的科研工作被忽略掉了。在自然语言处理领域，回过头来强调语言的认知和科学调查重要性，而不是几乎完全使用研究工程模型，这是有好处的。

总而言之，我认为我们应该为生活在自然语言处理被视为机器学习和工业应用问题核心的时代而感到激动。我们的未来是光明的，但每个人都应该更多地思考问题、架构、认知科学和人类语言的细节。我们需要探讨语言是如何学习、处理，又是如何产生变化的，而不是一次次在基准测试中冲击业内最佳。

　　原文链接：

　　本文为机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]