最让人印象深刻改进发生在将 LSTM 应用于翻译领域。正像 Lukasz 所描述的那样，在学校里，我们逐词地学习外国语言。但是如果我们不用这种方式来学，我们就是听人们用那种需要交流，看上去好像也可以。实际上，幼儿们学习就是采用这种方式，这实际上就是神经网络学习的方式。在这种情况下，训练数据的大小和数量是问题的关键。

翻译的性能由 BLEU 分数来衡量，分值越高性能越好。在过去的两年中，分值从 20.7 提升到了 26.0。Lukasz 的模型大小似乎是决定因素。

在早些年（两年以前），经过训练的网络能够达到「人工系统」（也就是能逐个短语进行转化的短语系统）的水平，并且把它做的越来越大，但却始终达不到比较好的效果。通过比较 PBMT（一种旧的标准翻译模型）和 GNMT（采用了 LSTM 的新模型）的结果你会发现，同样是翻译一个德语句子，新模型的结果很明显更清晰更能让人理解。

这样的结果说明翻译过程不再是非要人工参与的工作，而可以变成仅仅需要一个大的神经网络和很多次训练而已。正如 Lukasz 所说，该理论对于许多自然语言处理任务都适用。

不过它究竟有多好呢？我们能考评它吗？我们请人对谷歌翻译最新发布的神经网络的翻译结果进行评价，评价的分值从 0 到 6，其中 0 分意味着翻译得无厘头，6 分意味着是完美的翻译。而且，为了对新旧系统进行比较，我们请人工的翻译（母语是该语言但不是专业的语言学家）也加入这场比赛，并且也让人们去评分。下一张幻灯片显示了这三种翻译系统的评分结果。

结果显示新的系统有了巨大的改进，而且在某些情况下（比如英语到西班牙语的翻译）几乎和人类的翻译者一样好。通过研究发现，更大的数据库能产生更好的结果。

LSTM 的局限

但是，序列到序列 LSTM 仍然有一些问题待解决。Lukasz 列出了其中的两个：

1. 速度的限制

这些模型都很大。鉴于对数据库大小的依赖，牵扯到相当大的计算量，在这种情况下，处理速度是个大问题。为了缩短处理时间，TPU 在帮助研究人员开展这种翻译的时候是一个很重要的硬件选择。

除此之外，翻译的过程太循序渐进了。即使计算的速度非常快，仍然要一个词一个词地来。即使是一个小任务，处理时间也很慢。为了解决这一问题，新的并行模型（Neural GPU, ByteNet）也许期望能帮助解决这个问题。

2. 需要很多数据

序列到序列 LSTM 需要很多数据。为了解决这个问题，提出了基于注意力和其他能增加数据效率的新架构。其他一些方法可以被用于进行规则化，比如 dropout、信任惩罚（confidence penalty）以及层标准化。

总结

深度学习极大地改变了自然语言处理领域。序列到序列的 LSTM 在很多自然语言处理任务上取得了业界最好的成绩。Google 翻译将 LSTM 用于产品中，获得了翻译质量的巨大提高。但是，新的模型也带来了一些 LSTM 的问题，特别是在速度与对大量数据的依赖上。

©本文为机器之心原创，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]