第四部分是机器翻译,以前的方法更多是把整个的翻译切分成单词、短语,把中文、英文短语之间的映射关系建立起来,对应关系建立起来以后,使用语言模型再对译文进行词序或者短语顺序的调整,保证译文尽可能的通顺,这就是统计机器翻译的技术。 近三年来基于神经网络的机器翻译技术逐渐成为主流,通过端到端的方法将翻译平行语料进行了映射,整个框架分为了编码器-注意力机制-解码器的结构,在同传技术里,搜狗用到了双向 GRU 技术构建编码端的结构。通过 attention 机制在源端和目标端文本间进行对齐并生成当前时刻的句子级向量表示,并送至解码端,解码端逐词解码输出翻译结果。
搜狗的NMT 「从翻译本身来讲,之前大家用的那套翻译模型,跟我们以前在输入法上用的打字模型差不多,你打一堆拼音,拼音怎么转化成中文,而翻译就是你打一个英文,这个英语怎么转化成汉字,用到的技术就叫统计机器翻译 SMT」,搜狗语音交互技术中心负责人王砚峰表示,「现在的方法是基于神经网络,和以前的统计机器翻译是完全不同的技术流派。我们所说的深度学习改进比较大的三个领域,第一是图像识别,第二是语音识别,第三很有希望的就是机器翻译」。 对于和谷歌不久前发布的神经机器翻译技术,搜狗和谷歌使用的模型区别不大,但谷歌的神经网络比较深,做到了 8 层,而搜狗最多做到 5 层。陈伟对此的解释是「我们主要完成的任务是语音实时翻译,因此在保证翻译精度的同时,要兼顾速度,我们展现的是语音识别加翻译连在一起的效果,因此需要整体进行评估,这毕竟是实时的翻译,不是输入一个文本,输出翻译文本,任务就结束了,而是演讲者一直在讲,他的中文识别结果实时展现,同时英文译文也需要快速地输出,因此我们要尽量把时延降低。完成这个产品要在速度和精度上做一个折衷。」 而深度学习技术中,最终的效果不仅和算法相关,还和数据密不可分。「真正的模型是需要跟数据结合非常紧密,你只有有了大的数据才能学习出复杂的模型,刚才的模型结构非常的复杂,我会觉得对目前机器翻译而言,搜索公司在语料上面的积累,非常有助于我们在很多领域取得很好的机器翻译效果。」陈伟表示。搜狗每天语音请求次数在 1.9 亿次,代表每天都可以收回来大概 16 万小时的数据,这些数据再加上搜狗自身在深度学习技术的积累,使得其在语音识别取得比较好的效果,从而带来更加准确的翻译结果。陈伟说:「语音实时翻译技术中,翻译对接在识别后面,因此只有识别提供非常准确、可靠的结果以后,翻译的威力才能发挥出来。错误较多的结果是无法准确翻译出来的,这也是其他家没有把翻译推到现实场景中的原因之一。」 谷歌神经机器翻译推出后,宣布将 GNMT 投入到了非常困难的汉语-英语语言对的翻译生产中,这引起了业内的极大的关注。微软也发布了万能翻译器,支持语音识别、拍照识别、直接输入翻译功能,官方表示它也可以实现多达 100 人间实时翻译交谈。而搜狗领先的机器翻译技术也已经开始了应用,目前,根据此前在乌镇的实际效果评比,以及一些人工判断,搜狗语音实时翻译的准确率在 90% 左右。搜狗表示会上线翻译产品,用户输入文本时会自动翻译成英文。此外,也会和一些电视厂商进行一些合作。 据维基百科介绍,人类目前大概有 6000 多种语言。自人类在未建成的「巴别塔」下不欢而散以来,实现全人类之间的顺畅交流一直是我们的梦想。现在,人工智能方法让我们看到了真正实现这一梦想的希望。这也是我们机器翻译让大众持续兴奋、让技术公司和研究人员保持动力的最大原因。 正如王小川所说,语言上是我们最需要做的,因为我们主页做输入法和搜索都是和文字信息打交道,但文字信息是人工智能里最难的一件事,我们还专注在这件事情上,文字领域的人工智能怎么发展。 ©本文为机器之心原创,转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |