9 月 28 日,Google 在 Research Blog 中介绍其神经网络机器翻译系统(GNMT)进展,译文质量的大幅提升引发业内极大关注。据称,在双语评估者的帮助下,通过对维基百科和新闻网站的例句测定,在多个样本的翻译中谷歌神经网络机器翻译系统将错误降低了 55-85%甚至更多。
翻译质量对比,来自 Google Research Blog 即便如此,网友发现其翻译效果虽有显著提升,但仍未避免将「我想下班」翻译为「I want to work」等低级错误(第二天已被修复)。 事实上百度的在线翻译系统,一年前就应用了基于神经网络的翻译方法(NMT)。去年百度曾在 ACL 会议上发表论文《Multi-Task Learning for Multiple Language Translation》,探讨用 NMT 技术解决多语言翻译及语料稀疏的问题。该论文得到业内研究人员的极大关注,并被 ACL2016 的 NMT Tutorial 列为研究方向。Google 和 Bengio 的研究团队都在此论文的基础上进一步扩展了研究。 为此,机器之心专访百度自然语言处理部技术负责人吴华、高级总监吴甜,就神经网络机器翻译系统的优缺点、如何获得高质量训练数据及百度翻译目前进展展开话题。同时也借此机会了解百度自然语言处理部及其开展的 NLP 技术研发工作。以下为采访内容整理,以飨读者。 NMT、SMT 的优与缺 机器之心:能请您先介绍一下百度 NLP 部门吗? 答:百度 NLP 部门在公司内部是具有较长历史的部门,从最初搜索诞生时,就已经有 NLP 方面的工作。2009 年底左右,百度正式成立自然语言处理部。现在,这个团队人员构成非常多元,有自然语言处理、机器学习、信息检索、数据挖掘、机器翻译等多领域的专业性人才,擅长工程实践和擅长科学研究的人才都能够在团队中发挥重要作用。同时,架构开发、前端开发、客户端等软件开发和硬件开发工程师,产品设计及语言学专业人才也是团队的重要组成部分。 整个部门的大方向有几个。第一是为百度的众多产品提供最基础的、NLP 模型算法,包括百度所有产品都在用的分词算法、专名识别、词性分析、语义理解、篇章理解等等一些基础的一些工具。目前 NLP 部门为整个公司提供一个大型平台 NLP 云,未来这个平台也会对公司外有所开放,目前(这个平台)每天都有千亿量级的调动量。还有贴近应用的一些大型的应用系统,比如说深度问答系统。NLP 开发的深度问答系统在百度的搜索产品上,会有一些直接展示。比如在搜索引擎中提出一个问题,用户可以不需要打开网页,直观的得到答案。 第二大方向是语义理解,实际上从最初期开始,NLP 就一直在致力于这样的一个方向。在原来的搜索时代,会分析用户的搜索 Query 含义是什么。到今天新的产品形态产生之后,已经不仅仅是分析搜索的意图。越来越多的用户会开始尝试有上下文的、更积极的交互方式,这就需要有上下文的理解。 第三个方向是对话系统。对话系统就是让机器能像人一样,和用户有对话性质的交互。NLP 过去几年一直在积累相应的技术,通过对话引导让用户和机器人能一句一句的交流下去。这部分实际上已经应用在百度的度秘产品中。 第四个就是机器翻译。百度在机器翻译上已有 6 年的积累,每天有大量用户使用线上机器翻译产品,翻译 API 也有很多外部的企业开发者在使用。从 2014 年开始,百度尝试做基于神经网络的翻译系统,正式上线发布时间要早于 Google 一年。并且我们在发布的同时,还开发了离线版本,可以在手机上使用。 还有一些是更前瞻的探索。比如小度机器人。机器人能看、能写、能听,和人相比它还需要一个特别重要的能力就是思考。思考的前提,是先能听得懂语言。所以从 NLP 角度来说,更多的是希望机器人能懂语言、理解语言,然后能够跟人交流。那这款小度机器人,过去的几年也有频繁的亮相。
领导百度 NLP 工作的百度副总裁王海峰博士,已于近日当选 ACL Fellow 机器之心:谷歌最近发布了神经网络翻译系统,我们怎么看这个系统? (责任编辑:本港台直播) |