一个调适良好、具有长度罚项（length penalty）的集束搜索（beam search）十分重要。5 到 10 集束宽度（Beam widths）和 1.0 的长度罚项似乎效果不错。

　　我们强调几个重要的研究问题（包括高效利用嵌入参数 (4.1)），注意机制（attention mechanisms）作为加权跳过连接（weighted skip connections）（4.5）而不是记忆单元的角色作用，深度循环网络（4.3）需要更好的优化方法，以及超参数变化（hyperparameter variations）还需要更具稳健性的集束搜索（beam search/4.6）。

　　此外，我们还公开发布了一个开源 NMT 框架和我们所有实验的配置文件，该 NMT 开源框架专门用于研究架构创新和生成可重复实验。

　　机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]