业界 | Caffe2新增RNN支持，Facebook全面转向神经机器翻译

2017-08-04 11:47 来源:机器之心 Facebook /操作系统

原标题：业界 | Caffe2新增RNN支持，Facebook全面转向神经机器翻译

选自Caffe2 Blog

近日，Facebook 共享了 Caffe2 在支持循环神经网络（RNN）方面的最新成果。在 Caffe2 RNN 中，最突出的亮点是几乎零开销的 RNN 引擎，它不仅可执行任意 RNN 单元且难以置信地灵活，还可以进行束搜索；Caffe2 RNN 还允许每块 GPU 使用大批量数据进行训练，并实现了所谓的静态 RNN。通过 Caffe2 RNN，Facebook 的神经机器翻译的效率提升高达 2.5x，Facebook 全部的机器翻译模型从基于短语的系统转换为所有语言的神经模型。这意味着 Facebook 可在产品中部署神经机器翻译了。

我们很高兴共享 Caffe2 在支持循环神经网络（RNN）方面的最新成果。今年 4 月推出 Caffe2 时，它并不支持 RNN；为此，在过去的几个月，我们开发出了当前最优的 RNN 构件以支持 RNN 用例（比如机器翻译、语音识别）。

通过 Caffe2，我们显著提升了 Facebook 机器翻译系统的效率和质量，效率提升达 2.5x，使得 Facebook 可在产品中部署神经机器翻译。因此，Facebook 全部的机器翻译模型从基于短语的系统转换为所有语言的神经模型。此外，还有若干个产品团队，包括语音识别和广告排名团队在内，已经开始使用 Caffe2 训练 RNN 模型。

我们邀请了机器学习工程师和研究者体验 Caffe2 对 RNN 的支持，下面是更多关于 RNN 支持的实现和开源细节：

Caffe2 RNN 的独特特征

Caffe2 提供了一个通用的 RNN 库，其中 RNN 引擎是用于执行任意 RNN 单元（cell）的几乎零开销的虚拟框；在底层，一个单元就是一个袖珍版的 Caffe2，开奖，具备 Caffe2 所有的主要性能。同样还有一组丰富的 API，允许人们使用现有的 RNN 单元，并可通过 Python 部署新单元。MultiRNNCell 允许将现有单元轻松组合成更复杂的单元。例如，你可以整合 LSTMCell 的若干个层，然后将 AttentionCell 放到顶部。

RNN 引擎难以置信地灵活。它允许你选择哪些输出有梯度，并需要通过时间传播；允许你定义单元彼此连接的方式，以及如何与外在世界相连接。每一个输入接收到了通过时间传播回来的正确梯度。

除了零开销的引擎之外，Caffe2 RNN 的另一个核心优势是内存，它允许我们每块 GPU 都使用大批量数据进行训练。RNN 引擎支持回收跨时间步的中间结果，并使你有权力决定要回收什么。关于计算的交易内存的更多分析细节请参阅 https://arxiv.org/abs/1606.03401。

在上图中，后向传递的中间结果可以跨时间步重复使用。前向结果如果需要重复使用，则需要在后向传递中重新计算。Caffe2 允许你指定要丢弃的前向 blob 对象以节省计算资源。

静态 RNN

Caffe2 也实现了所谓的静态 RNN。它可以在序列长度已知的情况下通过时间反向传播来使用。另外，循环网络也成为了图形的一部分，这可以让全局神经网络执行器 DAGNet 找到最佳的 RNN 并行执行方式。静态 RNN 引擎支持所有现有的 RNNCell，几乎无需更改代码即可插入使用。在多层 LSTM 模型中，我们可以看到静态 RNN 的速度比动态 RNN 高出 25％。

用于束搜索的 RNN 引擎

开发团队遵循在机器翻译中常见的在解码时使用束搜索（beam search）来提高模型输出预测表现的方法。我们使用 Caffe2 中 RNN 抽象的泛化性能来直接实现束搜索——使用单一前向网络计算（single forward network computation），这样可以提供快速而有效率的推理。无论底层模型的架构如何（RNN、CNN……），束搜索都可以作为循环网络解码器使用。束搜索推断功能已在 Caffe2 库中提供。

主页： https://caffe2.ai/

GitHub： https://github.com/caffe2/caffe2

Facebook： https://facebook.com/Caffe2AI

为了提高翻译质量，Facebook 近日决定将所有产品中基于短语的机器翻译模型转换成神经网络翻译系统。该公司称，目前所有业务中，每天会收到 2000 种翻译方向（translation direction），约 45 亿个翻译请求。新模型将提供更为准确和流畅的翻译，改善 Facebook 产品的用户体验。

带有注意力机制的序列到序列 LSTM：结合上下文