本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

【j2开奖】【重磅】谷歌发布 Zero

时间:2016-11-23 16:18来源:天下彩论坛 作者:118开奖 点击:
:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j [email protected] HR 微信: 13552313024 新智元为COO和执行总编提供

  :COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

  简历投递:j[email protected]

  HR 微信:13552313024

  新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和金。

  加盟新智元,与人工智能业界领袖携手改变世界。

  【新智元导读】谷歌今日更新博客,介绍了重大更新,实现了用单一模型对多语种通用表征。这种新的模型体积不仅与多语言翻译模型一样,参数相同,而且速度更快、质量更高。不仅如此,系统还实现“零数据翻译”,也即能够在从来没有见过的语言之间进行翻译。这意味着传说中的“巴别塔”有望成真。【进入新智元公众号,在对话框输入“1123”下载论文】

  

【j2开奖】【重磅】谷歌发布 Zero

  (文/Mike Schuster,Melvin Johnson,Nikhil Thorat)过去10年中,谷歌翻译已从仅支持几种语言发展到了支持 103 种,每天翻译超过了 1400 亿字。为了实现这一点,我们需要构建和维护许多不同的系统,以便在任何两种语言之间进行转换,由此产生了巨大的计算成本。神经网络改革了许多领域,我们确信可以进一步提高翻译质量,但这样做意味着重新思考谷歌翻译背后的技术。

  今年 9 月,谷歌翻译改为启用谷歌神经机器翻译(GNMT)的新系统,这是一个端到端的学习框架,可以从数百万个示例中学习,并在翻译质量方面有显著提升。不过,虽然启用 GNMT 的几种语言翻译质量得到了提升,但将其扩展到所有 103 种谷歌翻译支持的语种,却是一个重大的挑战。

  实现零数据翻译(Zero-Shot Translation

  在论文《谷歌多语言神经机器翻译系统:实现零数据翻译》(Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation)中,我们通过扩展以前的 GNMT 系统解决这一挑战,使单个系统能够在多种语言之间进行翻译。我们提出的架构不需要改变基本的 GNMT 系统,而是在输入句子的开头使用附加的“token”,指定系统将要翻译的目标语言。除了提高翻译质量,我们的方法还实现了“Zero-Shot Translation”,也即在没有先验数据的情况下,让系统对从未见过的语言进行翻译。

  下图展示了最新 GNMT 的工作原理。假设我们使用日语和英语以及韩语和英语之间相互翻译为例,训练一个多语言系统,如动画中蓝色实线所示。这个新的多语言系统与单个 GNMT 系统大小一样,参数也一样,能够在日英和韩英这两组语言对中进行双语翻译。参数共享使系统能够将“翻译知识”(translation knowledge)从一个语言对迁移到其他语言对。这种迁移学习和在多种语言之间进行翻译的需要,迫使系统更好地利用其建模能力。

  

【j2开奖】【重磅】谷歌发布 Zero

  由此,我们想到:能够让系统在从未见过的语言对之间进行翻译吗?例如韩语和日语之间的翻译,系统并没有接受过日韩之间翻译的训练。但答案是肯定的——虽然从来没有教过它但,新的系统确实能够生成日韩两种语言之间合理的翻译。我们将其称为“零数据”(zero-shot)翻译,如动画中的黄色虚线所示。据我们所知,这还是首次将这种类型的迁移学习应用机器翻译中。

  零数据翻译的成功带来了另一个重要的问题:系统是否学会了一种通用的表征,其中不同语言中具有相同意义的句子都以类似的方式表示,也即所谓的“国际通用语”(interlingua)?使用内部网络数据的三维表征,我们能够看见系统在翻译日语、韩语和英语这几种语言时,在各种可能的语言对之间进行转换(比如日语到韩语、韩语到英语、英语到日语等等)时,内部发生的情况。

  

【j2开奖】【重磅】谷歌发布 Zero

  上图中的(a)部分显示了这些翻译的总体几何构成。图中不同颜色的点代表不同的意思;意思相同的一句话,从英语翻译为韩语,与从日语翻译为英语的颜色相同。我们可以从上图中看到不同颜色的点各自形成的集合(group)。(b)部分是这些点集的其中一个放大后的结果,(c)部分则由原语言的颜色所示。在单个点集中,我们能够看到日韩英三种语言中,拥有相同含义的句子聚在一起。这意味着网络必定是对句子的语义进行编,而不是简单地记住短语到短语之间的翻译。由此,我们认为这代表了网络中存在了一种国际通用语(interlingua)。

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容