你也许会意识到,很多时候帮助你做出判断的并不是一些能够清晰列在书本的知识,而是大量常识性的概念。例如“笔是一种写字的工具”、 “笔是竖直形的可以捏在手里”、“苹果是一种水果或一家公司”等等概念,都有助于我们对歌词的判断和理解。 当下,计算机究竟有多智能了?它可能能轻而易举的战胜一个三四十岁经验丰富的世界顶尖棋手,直播,但是它的学习能力以及完成一般任务的能力可能都远不及一个三四岁的孩童。研究员们从人类的学习成长过程开始入手,试图找到逐步实现机器智能的解决方法。 这个问题的答案可能是“常识”——理解是万物的基础。人们在正式上小学、初中接受系统性教育开始,已经早早地开始了学习的过程。这种与生俱来的本能能让你进入小学之前已经了解诸如“糖是甜的食品”、“水是一种液体”这一类基础的概念,并且随着年龄的增长,这种并不属于某个专业领域的开放性常识也在人们的认知中日积月累,并不断丰富。
微软亚洲研究院今天发布的Microsoft Concept Graph就在试图让计算机复制这些常识性概念,其核心知识库包含了超过540万条概念。除了包含一些被绝大部分通用知识库包含的概念,例如“城市”、“音乐家”等,Microsoft Concept Graph还包含数百万长尾概念,例如“抗帕金森治疗”、“名人婚纱设计师”、“基础的水彩技巧”等,而这些概念在其他的数据库中很难被找到。除了概念,Microsoft Concept Graph同样包含了大量数据空间(每条知识概念都包含一系列的实体或者子概念,例如“太阳系”底下可能就会包括“水星”、“火星”、“地球”等等)。 Apple是甜的 当你看到“Apple是甜的”这句话时,你几乎可以肯定这里的“Apple”指的是我们最常见的那种水果。在这几毫秒的时间里,你触发的是“根据上下文语境确定语义”这一技能。微软亚洲研究院的研究员们同样也为计算机点亮了这棵技能树。 Microsoft Concept Tagging模型可以将文本词条实体映射到不同的语义概念,并根据实体文本内容被标记上相应的概率标签。例如“微软”这个词可以被自动映射到“软件公司”和“科技巨头”等概念,并带有相应的概率标签。这个模型让计算机拥有常识性的计算能力,让机器“了解”人类的意识,从而让机器可以更好地理解人类的文本交流。具体来说,概念模型根据人类的概念推理将实体或者短语映射到大量自动习得的概念空间(向量空间)。这种映射关系是人类和机器都可以理解的。因此该模型提供了文本理解所需的文本概念映射、短语语义化理解等功能。
Microsoft Concept Tagging模型区别于以往常见的文本推理模型的根本区别是它是基于网络之上的一个推理模型,将文本映射到一个显式的知识空间,将文本概念化。以搜索引擎为例,绝大多数的用户的查询词数量是很少的,搜索引擎在返回结果时需要将查询词进行额外的信息化,将很短的文本映射到大量的概念空间里面,从而解释了这一段文本。传统的模型对于文本的推理几乎不可解释,而Microsoft Concept Tagging模型用不同的概念去描述一个词,并给出对应的概率,使机器能够更好地理解文本,另一方面可计算的显性词向量也体现了我们人类智能与人工智能相结合的理念(HI+AI,human in the loop)。例如社交网络的设置中,工程师可能会人为设置一些关键字去屏蔽一些不当言论,但是并不是每一个敏感词工程师都能准确找到。例如工程师屏蔽了“希特勒”、“纳粹”,却忽略了“法西斯”,现在Microsoft Concept Tagging模型就能对已有的概念进行延展,在系统中找到其他类似的相关性很大的关键字,做更多智能的扩展。 理解是万事万物的基础 (责任编辑:本港台直播) |