我们在论文中还写下了更多的结果和分析,希望这些的发现不仅能够帮助从事机器学习或机器翻译的研究人员,还能对于语言学家和对使用单一系统处理多语言感兴趣的人有用。 最后,上述多语言谷歌神经机器翻译系统(Multilingual Google Neural Machine Translation)从今天开始将陆续为所有谷歌翻译用户提供服务。当前的多语言系统能够在最近推出的16个语言对中的 10 对中进行转化,提高了翻译质量,直播,并且简化了生产架构。 商业部署后,实现技术上的突破 正如前文所说,今年 9 月,谷歌宣布对部分语种启用谷歌神经机器翻译(GNMT)的新系统,并在几种率先使用的测试语种(包括汉语)翻译质量方面得到了显著提升。下面的动图展示了 GNMT 进行汉英翻译的过程。首先,网络将汉字(输入)编码成一串向量,每个向量代表了当前读到它那里的意思(即 e3 代表“知识就是”,e5 代表“知识就是力量”)。整句话读完之后开始解码,每次生成一个作为输出的英语单词(解码器)。
要每一步生成一个翻译好的英语单词,解码器需要注意被编码中文向量的加权分布中,与生成英语单词关系最为密切的那个(上图中解码器 d 上面多条透明蓝线中颜色最深的那条),解码器关注越多,蓝色越深。 使用人类对比评分指标,GNMT 系统生成的翻译相比此前有了大幅提高。在几种重要语言中,GNMT 将翻译错误降低了 55%-58%。 不过,当时也有很多研究人员认为,当时谷歌翻译取得的“里程碑”,与其说是技术突破,不如说是工程上的胜利——大规模部署本身确实需要软硬件方面超强的实力,尤其是想谷歌翻译这样支持 1 万多种语言的商业应用,对速度和质量的要求都非常的高。但是,神经机器翻译的技术早已存在,借鉴了语言和图像处理方面的灵感,是多种技术的整合。 现在,只用了大约 2 个月的时间(论文首次上传到 arXiv 是 11 月 14 日),谷歌翻译和谷歌大脑团队就实现了技术上的突破——让系统在从未见过的语言对之间进行翻译,也即所谓的“zero-shot translation”。 不仅如此,谷歌研究人员还在论文最后做了分析,新的模型代表了实现一种“国际通用语”模型的可能。有评论称,这可以说是实现“巴别塔”的第一步。 谷歌神经机器翻译系统架构 就在几天前,国外研究员 Smerity 在他的博客上发布了一篇分析谷歌神经机器翻译(GNMT)架构的文章,在 HackerNews、Reddit 等网站都引发了很多讨论。 Smerity 在博文中指出,GNMT 的架构并不标准,而且在很多情况下偏离主流学术论文中提出的架构。但是,根据谷歌特定的需求,谷歌修改了系统,重点保证系统的实用性而并非追求顶尖结果。
【论文】谷歌的多语言神经机器翻译系统:实现 zero-shot 翻译
摘要 我们提出了一种使用单一神经机器翻译(NMT)模型,在多语种之间进行翻译简洁而优雅的解决方案。不需要修改谷歌现有的基础系统模型架构,而是在输入句子的前面加入人工 标记(token)明确其要翻译成的目标语言。模型的其他部分(包括编码器、解码器和注意模型)保持不变,而且可以在所有语言上共享。使用一个共享的 wordpiece vocabulary,这种方法能够使用单一模型实现多语种神经机器翻译,而不需要增加参数,相比此前提出的方法更为简单。实验表明,这种新的方法大部分时候能提升所有相关语言对的翻译质量,同时保持总的模型参数恒定。 (责任编辑:本港台直播) |