从零到Cortana诞生，过去18年自然语言处理都经历了什么？

来源:PingWest品玩

原标题：从零到Cortana诞生，过去18年自然语言处理都经历了什么？

赢了柯洁的AlphaGo让很多人看到了AI太过强大的一面，然而我们大多数人在生活中感受到的AI却是十分“智障”的，不太有人工智能应该有的样子。

这种巨大的反差主要是因为能应用在生活中的人工智能，还长时间处于早期阶段。

比如语音助手。

但对话和翻译其实是人工智能最早涉足的领域。

能让机器理解人类的语言，或者模仿人类的语言是大家对人工智能最初的幻想，所以在早先，图灵测试一度成为评判人工智能的标准。

对话和翻译应用的是人工智能众多学科分支里自然语言处理（Nature Language Processing，简称NLP）的部分，目的是要解决人和机器之间的沟通问题，是人工智能处理的发端，至今仍面临很多问题。

就拿对话系统来说，市面上各个巨头都推出自家智能语音助理，但鲜有一款能完全摆脱“智障”的嫌疑。

可以说在这条赛道上，大家跑的都不快。但尽管如此还是坚持在跑，就连长期困顿在手机里的Siri，也要推出自己的智能音箱。

“尽管目前形势不太乐观，但是一直跑下去，总会见到成效。”6月1日，微软亚洲研究院副院长周明表示，再坚持5-10年自然语言处理就会看到长足发展。

周明博士认为自然语言处理的发展有三个阶段：

第一层是基础技术：分词、词性标注、语义分析。

第二层是核心技术：词汇、短语、句子、篇章的表示。包括机器翻译、提问和回答、信息检索、信息抽取、聊天和对话、知识工程、语言生成、推荐系统。

第三层是“NLP+”：仿照“人工智能+”或“互联网+”的概念，实际上就是把自然语言处理技术深入到各个应用系统和垂直领域中。比较有名的是搜索引擎、智能客服、商业智能和语音助手，还有更多在垂直领域——法律、医疗、教育等各个方面的应用。

关于第三层的“NLP+”,市面上大大小小的语音助手有不少，从微软毕业的有两个：小娜（Cortana）和小冰。虽然都是语音助手，但是两者还是有些区别。

小娜通过手机和智能设备介入，让人与电脑进行交流：用户发布命令，小娜理解并执行任务。同时，小娜能够记忆一些用户性格特点、喜好、习惯，然后主动给一些贴心提示。

比如，你过去经常路过某个地方买牛奶，在你下次路过的时候，她就会提醒你，问你要不要买。她从过去的被动到现在的主动，从原来的手机，到微软所有的产品，比如Xbox和Windows，都得到了应用。

小冰纯粹就是闲聊了，没想帮你解决什么问题，它闲聊的主要目的是希望尽可能的“像人一样”。

“它是一种新的理念，很多人一开始不理解。人们跟小冰一起的这种闲聊有什么意思？其实闲聊也是人工智能的一部分，我们人与人见面的时候，寒喧、问候、甚至瞎扯，天南海北地聊，这个没有智能是完成不了的，实际上除了语言方面的智能，还得有知识智能，必须得懂某一个领域的知识才能聊起来。所以，小冰是试图把各个语言的知识融汇贯通，实现一个开放语言自由的聊天过程。”

而小冰最开始是怎么学习聊天的？主要是跟网友学的。

首先将网上的论坛、微博或是网站里出现过的对话句子抽取出来，当成训练语料库。当用户输入一个句子时，系统会从语料库里找到一个跟这个句子最相像的句子，而这个句子对应的答复就可以直接输出作为电脑的回复。虽然看起来简单粗暴，但确实奏效。

有的时候，系统找到的句子可能对应了很多回复，它不知道哪个回复最适合当前的输入语句。这时就会再有一个匹配的过程，去判断输入语句跟语料库里的回复在语义上是相关的或者是一致的。

到目前，小冰已经覆盖了三种语言：中文、日文、英文，累积了上亿用户，平均聊天的回数23轮，平时聊天时长大概是25分钟左右。

目前取得的自然语言方面的成果，是微软18年的努力。

微软在1998年11月5日成立微软亚洲研究院时就开创了自然语言处理的研究领域，除了200多篇顶级期刊的论文，还有大量的NLP人才。

2014年5月，微软推出小冰，同年7月，推出Cortana。