刘丹:主要还是深度学习。讯飞在基于深度学习解决 NLP 问题方面已经做了很多年,在深度学习火起来但在 NLP 没有做出太多成果时,我们就已经有了思考和尝试。差不多在两年前,与我们合作的加拿大约克大学江辉教授提出基于神经网络的阅读机器(Neural Reading Machine)。对于阅读机器(Reading Machine)来说,先是将自然语言文本当作一个时序的单词序列,针对时序序列考虑各种建模方式,包括传统的卷积网络、循环神经网络,以及江辉教授提出的一种名为 FOFE 的特殊网络结构。这次比赛我们在这些基础上,用了最近两年比较流行的注意力模型(Attention)来做。
约克大学·讯飞联合实验室成立于 2015 年,专注神经计算与深度学习,图为实验室成立合影 机器之心:那么这些技术已经应用到我们的产品中了吗? 刘丹:应该说 KBP 的最终目标是知识图谱的扩展,知识图谱对于目前的讯飞来说并没有太多用处。 但其技术有非常大应用。首先是基于神经网络端到端的学习方案,在类似的 NLP 问题上都能发挥作用。例如我们在教育方面的自动阅卷、书面作文和口头作文的评分批改、试卷难度预测,我们用了各种各样的技术,但网络结构的总体思想是类似、相关的。大体上是将时序的文本序列进行某种基于神经网络获得的抽象表示,在这种抽象表示上面定义结构,来描述所要抽取的结构信息。 虽然说我们不做知识图谱,但 KBP 的研究是要在知识图谱上找到命名实体的对应连接,这一点对于讯飞的核心业务语音对话系统是非常重要的。 目前所有的对话系统都是功能引导式的对话,比如让语音助手订票、查餐馆之类。在业务范围外的百科知识和与用户闲聊的时候,往往只能利用人工规则和补资源的方式兜底,比如问对话系统「姚明身高有多少」、「奥巴马的妻子是谁」,多数情况下都表现不佳。基于刚才提到的命名实体抽取连接的相关技术,我们可以对于问题进行简单分析,将问题与维基百科、Freebase 知识库连接起来,从结构化的知识库中找到对应的答案,这是相对直接的应用。 机器之心:除此之外,在 NLP 方面讯飞还有哪些成果? 刘丹:首先是 NLP 中非常重大的部分——机器翻译,我们目前在机器翻译方面做得还不错,2014 年获得国际评测任务 IWSLT 的第一名,IWSLT 的特点是口语化演讲。去年 NIST 组织的 OpenMT(Open Machine Translation Evaluation)比赛,我们同样获得了第一名。目前我们在中-英语互译、中-维吾尔语互译、中-藏语互译做的还不错。 机器翻译之外,讯飞在教育方面做的比较多。我本人 4 年前一直在做教育相关的业务,包括给定主题自由表述的口语开放题型、自由书面作文的评分和批改。它们不仅牵扯到语音识别、手写识别技术,在识别正确的基础上,要在偏口语、噪音干扰的情况下,将整个考生的表述脉络理清,找出其中的病句、搭配不当。对中文作文的评分要难一些,因为中国人基本不会有语法错误,要给出前后语义搭配的连贯性等方面的评价和修改建议。 机器之心:在您看来,NLP 的下一步发展需要解决哪些问题? 刘丹:目前来看大家研究的比较多的是语义理解。最近一两年 Google、Facebook,当然我们也做了一些阅读理解的问题。还有文本产生,就是让机器自己去写东西。目前在文本产生这部分,机器能产生语法没有错误、比较顺滑的句子,但产生出的段落看上去没有什么意义。机器能够产生文本,但没做到「创造」。这方面 Google 也做了 DeepArtist,面临的也是同样的问题。 更偏实用的是虽然对话系统大家都在做、能做到「可用」,但和真人还是有显著差距,包括我们的语音助手和友商的产品都是这样。 (责任编辑:本港台直播) |