注:我们的论文《Effective Approaches to Attention-based Neural Machine Translation》中使用了这个数据集。另外,因为历史上的原因,我们对合成词(compound words)做了拆分。比如,rich-text format --> rich ##AT##-##AT## text format. IWSLT'15 英语-越南语数据(小) 训练集(包含 13.3 万个句子对) 英语训练集(train.en): 越南语训练集(train.vi): 测试集: tst2012.en: tst2012.vi: tst2013.en: tst2013.vi: 词汇库(最常见的 5 万个词): vocab.en: vocab.vi: 词典(从对齐的数据中提取出来的,dict.en-vi): 注:我们的论文《Stanford Neural Machine Translation Systems for Spoken Language Domains》中使用了这个数据集 预训练的模型 我们放出了预训练好的模型,可以直接通过我们的 Matlab 代码使用。 注:要使用这些模型,必须要一个 GPU。如果想要这些模型在 CPU 上可用,请考虑使用这个脚本:https://github.com/stanfordnlp/nmt/blob/master/code/misc/model2cpu.m WMT'15 英语-捷克语混合模型(hybrid models) 我们训练了 4 个具有同样架构的模型(全局注意、双线性形式、dropout、两层字符级模型): 1. Model 1: 2. Model 2 : 3. Model 3: 4. Model 4: WMT'14 英语到德语基于注意的模型(attention-based models) 1. 全局注意、点积: 2. 全局注意、点积、dropout: 3. 全局注意、双线性形式、dropout: 4. 局部注意(单调)、双线性形式: 5. 局部注意(单调)、双线性形式、dropout: 6. 局部注意(预测)、点积、dropout: 7. 局部注意(预测)、双线性形式: 8. 局部注意(预测)、双线性形式、dropout: IWSLT'15 英语-越南语基于注意的模型(attention-based models) 1. 全局注意、双线性形式、dropout: 2. 全局注意、concatenate : 3. 局部注意(预测)、点积、dropout: 4. 局部注意(单调)、双线性形式、dropout: 5. 局部注意(单调)、双线性形式: 6. 局部注意(单调)、concatenate、dropout : 7. 局部注意(预测)、点积、dropout: 8. 局部注意(预测)、双线性形式: 9. 局部注意(预测)、concatenate、dropout: 联系信息 有任何评论或疑问,可联系第一作者:[email protected] ©本文为机器之心编译文章,直播,转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |