|
参与：微胖、蒋思源、吴攀 这样的实验只有谷歌级别的公司才能处理的了。这篇文章对大型 NMT 模型训练过程中的各个超参数对结果的影响进行了经验分析，并得出了一些有意义的结论。比如，嵌入用 2048 维结果最好，但是也没有好到哪里去，基本上，128 维的结果就不错了；LSTM 比 GRU 效果好；2-4 层的双向编码器效果最好。作为论文的一部分，作者们发布了一个开源 NMT 框架，能让研究员轻松试验新技术并得出最先进的试验结果，机器之心也有报道，请见（） 论文地址：https://arxiv.org/abs/1703.03906 开源地址：https://github.com/google/seq2seq/ 摘要 神经机器翻译（NMT）在过去的几年中有了很大的进步，并且由 NMT 构成的产品系统现已经部署到客户端中。不过当前架构主要的缺点就是高昂的训练成本，收敛所花费的 GPU 时间通常是几天到几周。这使得穷尽超参数（hyperparameter）搜索（这在其他神经网络架构中也很常见）的成本高昂的让人望而却步。在这篇论文中，我们首次大规模分析了 NMT 架构的超参数，并报告了几百次实验测试的经验结果和方差数（variance numbers），相当于标准 WMT 英译德任务上运行 250,000 多个 GPU 小时。我们也通过实验找到了一些关于构建和扩展 NMT 架构的新洞见，也提出了一些实用建议。作为这次研究贡献的一部分，我们发布了一个开源 NMT 框架，能让研究员轻松试验新技术并得出最先进的试验结果。
图 1：带有注意模块（attention module）的编码器—解码器架构。章节号代表该部分相应的参考实验。
图 2：带有以及不带有残差连接（residual connections）的深度解码器训练图表，且该图表示了在评估集上的对数困惑度（log perplexity）。 4.7 最后系统的对比 最后，我们将所有实验中性能最佳的模型（附加了 512 维注意（attention）的基础模型），从 newstest2013 验证集中挑选出的，与文献中的历史结果进行了比较（表 8）。尽管这不是这份研究的关注点，但是，通过将我们的洞见融入一个单独的模型（表 7 描述的），我们能够进一步改善效果。 虽然我们没有提供架构创新，但是我们的研究确实表明：通过详细的超参数调节和良好初始化，我们可以在标准 WMT 基准上实现最佳的性能表现。仅有（Wu et al., 2016）的模型比我们的模型表现更优，j2直播，但是，他们的模型显然要复杂得多，也缺乏公开实现。
表 7：我们最终综合模型的超参数设置，由全部单独优化值组成
表 8：各种模型比较，包含：RNNSearch (Jean et al., 2015), RNNSearch-LV (Jean et al., 2015), BPE (Sennrich et al., 2016b), BPE-Char (Chung et al., 2016), Deep-Att (Zhou et al., 2016), Luong (Luong et al., 2015a), Deep-Conv (Gehring et al., 2016), GNMT (Wu et al., 2016) 和 OpenNMT (Klein et al., 2017). 带有 * 的没有公开的实现。 结论 我们对神经机器翻译架构差异进行了第一个大规模分析，梳理了实现最先进实验结果的关键因素。我们证实了一些令人惊奇的见解，包括集束搜索调节（beam search tuning）和绝大多数架构变化同样重要，使用了当前优化技术的深度模型并不总是优于浅模型。以下就是我们总结的实际发现： 使用 2048 维的大型嵌入（embeddings）实现了最优的结果，不过优势很小。即使只具有 128 维的嵌入似乎也有足够的能力来获取绝大多数必要的语义信息。 LSTM Cell 始终优于 GRU Cell。 2-4 层的双向编码器性能最好。更深的编码器显然在训练中不太稳定，不过如果优化好，更深的编码器会有潜力。 深度 4 层解码器比浅一些的解码器表现要略胜一筹。训练 8 层的解码器，残差连接是必要的，而且密集的残差连接能带来额外的稳健性。 参数化的额外的注意模块产生了总体最优结果。 (责任编辑：本港台直播) |
