2、感知数据的机器学习与理解，主要围绕图像、语音和语言数据的非结构化和半结构化特点使计算机难以实现从数据层到语义层的转化，建立新的机器学习方法是实现这种转化的有效途径。

　　3、关于跨模态信息的协同计算。

　　目前，三个关键技术都取得了突破，比如在视听觉信息的协同计算、自然语言的理解与视听觉认知相关的脑机接口方面，已经建立无人驾驶平台、脑机接口平台和搜索引擎；还创建了无人车未来挑战赛以及脑机接口比赛两个国际性的赛事；同时收获了国际科学奖项。

　　孙富春在演讲中提到，“我们还把脑机接口用在无人驾驶方面，通过脑控来控制无人车的运动。另外还通过脑机接口实现自动泊车。目前， 在非浸入式脑机接口方面，中国处于世界领先地位”。

　　驾驶脑

　　在孙富春教授看来，驾驶脑是专家组这些年研究的突出成果，它主要的工作是模拟人的驾驶经验，学习人眼和听觉的感知进行表达和融合，在环境中作出决策。

　　▲ 驾驶脑

　　当然，这个过程中要去掉人在驾驶过程的一些情绪的影响。

　　人的性格决定他开车是保守还是张扬；长期记忆区存储人在长期驾驶过程里形成的经验和技巧；动机就是完成出行任务从起点到终点的一次性路径规划；短期记忆主要表示驾驶员的选择性注意，atv，仅仅关注刚刚过去的以及当前的周边驾驶态势。

　　拒绝人脑中的情绪部分进入驾驶脑，永远不会因情绪而分散注意力，机器始终专注。

　　我们的眼睛、耳朵可以感知外面的环境，比如说在哪里，这旁边有没有障碍和目标，通过长期记忆区来决策这种情况下我应该如何驾驶，这叫行动。

　　然后把行动的信息和感知信息进行比对，确认是不是达到了效果，就形成这样一个闭环：从动态感知到态势分析、自主决策到精确的控制和行动。

　　▲ 驾驶脑感知域、认知域及行动域的工作闭环

　　这里面还有一个很重要的概念就是路权：行进过程中车本身占有的空间。在这个基础上形成了自主决策。比如速度应该有多少变化，转角应该多大的变化，形成决策记忆池。通过控制模块控制无人车，从感知到决策再到控制，形成闭环。

　　驾驶脑是通过英伟达的Drive PX实现的自动驾驶硬件系统。

　　无人车未来挑战赛

　　据悉，从2009年开始到去年，该项赛事总共举办了7次比赛：

　　▲ 无人车挑战赛历程

　　从比赛的结果来看， 人工干预最后基本取消，速度是越来越快，比赛也从局限的封闭道路越来越走向真实的道路环境里面。

　　回顾这8年来，孙富春教授指出下面这些工作对他们的帮助很大：

　　第一是认知机理研究成果，如何形成可计算的模型，这个我们探索了很多的方法，还需要进一步地完善。

　　第二是在环境感知的拓扑结构信息如何在认知过程中表达与理解，探索新兴的多模态传感器。其中包括：

　　1、声音、视频信息的集成。

　　2、人机智能混合问题，这个也是刚刚国家提到的人工智能2.0版本，我们要研究人机混合的智能系统。

　　3、借助这个平台发表更多的关于认知科学方面的成果，将自然语言理解和脑机接口集成到无人车的平台上，让成果走出实验室。

　　第三是通过无人车平台取得的重大进展，进一步促进创新，引领无人车产业的发展。

　　尾声，孙富春教授以诗为寄： “人机仿造胜奴仆，亲我劳耕续史书”。