典型的神经机器翻译模型会计算目标词汇中所有词语的概率分布。我们在此分布中包含的词语数越多，计算所用的时间越多。我们使用一种称为词汇削减（Vocabulary reduction）的建模技术，在训练和推理时间上弥补这个问题。通过词汇削减，我们将目标词汇中最常出现的词语与给定句子的单个词语的一组翻译备选相结合，以减少目标词汇量的大小。过滤目标词汇会减少输出投影层的大小，这有助于使计算更快，而且不会使质量过多地降低。

调整模型参数

神经网络几乎总是具有可调参数，可以控制模型的学习速度等。选择这些超参数的最佳组合对于性能可能非常有益。然而，这对于大规模机器翻译提出了重大挑战，因为每个翻译方向（translation direction）由具有独特的一组超参数的唯一模型表示。由于每个模型的最优值可能不同，因此我们必须分别对每个系统进行调整。我们在数月内进行了数千次端对端翻译实验，利用FBLearner Flow platform微调超参数，如学习率，注意力类型和ensemble size。这对一些系统有重大影响。例如，仅仅是微调了模型超参数，英语到西班牙语翻译的BLEU 就相对提高了3.7％。

在 Caffe2 框架下神经机器翻译

过渡到神经系统的挑战之一是让模型以Facebook 这样规模的应用所需的速度和效率运行。我们在深度学习框架 Caffe2 下实施了我们的新翻译系统。它的灵活性使我们能够在我们的 GPU 和 CPU 平台上进行训练和推理，来调整翻译模型的性能。

对于训练，我们实施了内存优化，如 blob 回收和 blob 重新计算，这有助于我们进行更大批量的训练，训练时间也更快。对于推理，我们使用专门的向量数学库和权重量化来提高计算效率。旧有模型的 early benchmark 表明，支持2000 多个翻译方向的计算资源将会非常高。然而，Caffe2 的灵活性和我们实现的优化使我们的效率提高了 2.5 倍，从而使我们能够将神经机器翻译模型部署到生产中。

我们遵循在机器翻译中常用的在解码时使用 beamsearch 的做法，以改进我们根据模型对最高概率输出句子的评估。我们利用Caffe2 中的循环神经网络（RNN）abstraction 的 generality 来实现 beam search（直接作为单独的前向网络计算），这使我们实现了快速高效的推理。

在这项工作的过程中，atv直播，我们开发了RNN 构建模块，如LSTM、multiplicative integration LSTM 和注意力。我们很高兴将这项技术作为 Caffe2 的一部分分享，提供给研究和开源社区。翻译的算法可以在Caffe2 GitHub 页面找到。

CNN 会更多地应用到翻译系统中

Facebook人工智能研究院（FAIR）最近发表了使用卷积神经网络（CNN）进行机器翻译的研究。我们与FAIR 密切合作，在不到3个月的时间内，atv，将这项技术首次从研究带入了实际的产出系统（production system）。我们推出了英文到法文、英文到德文翻译的 CNN 模型，与以前的系统相比，新系统带来了 BLEU 12.0％（+4.3）和14.4％（+3.4）的质量提升。这些质量改进使CNN 成为一个令人兴奋的新发展道路，我们将继续努力，将 CNN 更多地应用到翻译系统中。

我们刚刚在翻译中开始使用更多的“语境”。神经网络开启了许多未来的发展路径，这些路径都与添加更多“语境”相关，例如伴随文本的照片，由此创建更好的翻译。

我们也开始探索可以翻译不同语言方向的多语种模型。这将有助于解决为每个特定语言对的系统进行微调的挑战，并且还可以通过共享训练数据从某些方向上带来质量提升。

完成从基于短语到神经机器翻译的过渡，是Facebook 改善用户翻译体验的里程碑。我们将继续推进神经机器翻译技术，目的是为Facebook 上的每个人提供更为人性化的翻译。