当你看到“Apple是甜的”这句话时,你几乎可以肯定这里的“Apple”指的是我们最常见的那种水果。在这几毫秒的时间里,你触发的是“根据上下文语境确定语义”这一技能。微软亚洲研究院的研究员们同样也为计算机点亮了这棵技能树。 Microsoft Concept Tagging模型可以将文本词条实体映射到不同的语义概念,并根据实体文本内容被标记上相应的概率标签。例如“微软”这个词可以被自动映射到“软件公司”和“科技巨头”等概念,并带有相应的概率标签。这个模型让计算机拥有常识性的计算能力,让机器“了解”人类的意识,从而让机器可以更好地理解人类的文本交流。具体来说,概念模型根据人类的概念推理将实体或者短语映射到大量自动习得的概念空间(向量空间)。这种映射关系是人类和机器都可以理解的。因此该模型提供了文本理解所需的文本概念映射、短语语义化理解等功能。
Microsoft Concept Tagging模型区别于以往常见的文本推理模型的根本区别是他是基于网络之上的一个推理模型,将文本映射到一个显式的知识空间,将文本概念化。以搜索引擎为例,绝大多数的用户的查询词数量是很少的,搜索引擎在返回结果时需要将查询词进行额外的信息化,将很短的文本映射到大量的概念空间里面,atv,从而解释了这一段文本。传统的模型对于文本的推理几乎不可解释,而Microsoft Concept Tagging模型用不同的概念去描述一个词,并给出对应的概率,使机器能够更好地理解文本,另一方面可计算的显性词向量也体现了我们人类智能与人工智能相结合的理念(HI+AI,human in the loop)。例如社交网络的设置中,工程师可能会人为设置一些关键字去屏蔽一些不当言论,但是并不是每一个敏感词工程师都能准确找到。例如工程师屏蔽了“希特勒”、“纳粹”,却忽略了“法西斯”,现在Microsoft Concept Tagging模型就能对已有的概念进行延展,在系统中找到其他类似的相关性很大的关键字,做更多智能的扩展。 理解是万事万物的基础 “我们想做的,是让计算机能够更好地理解人类。”现负责Microsoft Concept Graph 和 Microsoft Concept Tagging 模型的微软亚洲研究院资深研究经理闫峻博士说,“理解是万事万物的基础,我们用计算机抓取过去这些不成文的开放领域的常识,能够帮助计算机更具象地了解这个世界。”
(从左至右)为微软亚洲研究院研究员纪蕾,资深研究经理闫峻,研究员张大卫 对于这类知识图谱,学术界和工业界都有参与,但始终离不开一些根本问题:如何去获取实体、实体和实体之间的属性和关联。在过去,知识库系统和人类的思考方式差异巨大。例如“奥巴马生日”,过去计算机能理解这个词的含义,但是却不能直接给你回答,而此次微软开放的Microsoft Concept Graph 和 Microsoft Concept Tagging模型就希望能为人们提供一个更智能化知识图谱,借助它,从实体到抽象概念,计算机都能够理解。
谈及Microsoft Concept Graph 和 Microsoft Concept Tagging模型的下一步计划,闫峻博士表示目前该模型暂只能支持英文,还要和高校合作完成中文的支持工作。在完成中文的知识库构建之后,再逐步扩展到多语言版本。其次,人类的语言还涉及到比喻、夸张和玩笑等高层次跨领域的抽象表达方法,这也是接下来需要让机器不断学习的方向。最后,从短文本的理解到长文本的理解,如理解两个完全不同的故事,但语义层面在表达同样的道理,也是他们接下来不断努力的方向。 (责任编辑:本港台直播) |