从类脑智能的角度来看,我们希望计算机能够通过像人一样用序列化的学习方式来减少对人工形式化的依赖。如果我们实现了这一设想,我们就非常接近通用的人工智能了。 这就是第一部分内容:类脑研究主要将不断从神经科学、认知科学,尤其是神经科学中受到启发。 类脑研究的主要方向 类脑研究具体是哪几个方向?我们正在探究各种可能性,我们认为大脑具有高度可塑性机制。未来的人工神经网络或许可以受此启发。这是一个 STDP,它描述了人类局部神经元之间突触的连接强度,随着相邻两个神经元先后放电的时间差异——增强或减弱而产生不同表达的神经的机制。这是生物学习机制中最基本的元素,它实现的功能是通过有持续地激活神经元集群,产生神经连接发生有序的强化,可用于储存信息。 这样一个简单的、生物化的学习机制。它是无监督的,非数学化的。例如在空间维度信息的学习和记忆、手写数字识别、图像存储与提取、以及机器人的动作序列学习,还有短周期节律的学习都可以借鉴这种机制。实际上研究人员已经在进行此类探索了。这样的学习机制将会与目前不同的人工神经网络,包括现有的监督学习去比较。它目前的性能比生物体中的效率要差一点,但是仍然达到了 95% 的准确率。目前的探索证明了生物学机制的潜力。纯生物 STDP 可适应机制可以让机器人学会绕着某一条线走路。 这是一种轻监督的任务,机器自己理解路的概念,理解需要沿着路前进。我们在加油站外广场的 24 小时监控图像里,通过人工智能分析,可以识别图像内容,而且对内容进行分类。此外,我们开发了序列记忆系统,它可以识别音乐节拍,然后重现出来。所有这些都应用了这样的机制。 从微观角度来看可熟悉机制,无监督的学习方法已经在上述的一些任务里取得了一定的进展。但是它引出了认知范围的能力的问题。目前的无监督学习只能适用于有限范围内的任务处理,因为它基本没有在结构上面做特别多的处理。 这一领域的研究还有很多方向可以进一步深化。比如秒量级的节律信息处理,就是说研究节拍之间,比如节拍超过几百毫秒的时候,STDP 怎么如何记录这种节拍。如果希望使用生物的学习方式,一定要有结构的配合,包括信息的无监督编码的提取和复杂特征的编码。在这一方面,比如 spike,这个神经网络功耗非常低,同时是弱监督的。生物机制中的 bottom-up 与数学上的 top-down(目标函数驱动)的方法如何整合,来形成新一代的人工神经网络,是未来我们研究的方向。
现在有很多其他领域的学者跨界在进行这方面的研究。本次讨论的关键词,可塑性机制,脉冲神经网络(脉冲神经网络和人工神经网络的输出不同,它不可微分,所以数学上的原有的理论不能适用)还有强化数据深度学习。这些概念,如何整合在一起?如果可以提出一个新的模型,它的学习效率更高,对数据的依赖性、监督性、标记的依赖更弱,会是非常有意思的工作。
第二个方向,实际上认知功能都是由若干个环路或者是一个通路组成的,是若干脑区构成的一个通路。这个体系作为整体呈现出人类的认知功能,从计算的角度来看,最核心的问题在于,不同脑区之间是什么样的协同关系?刚才的讨论中已经提到了一部分,很多的功能,包括模仿、决策、整合,都需要十几个脑区协同合作(假如细分的话,这个数字会更大),但整合起来才能产生复杂强大的认知功能。脑区有几种组织方式?我的看法倾向于层次化的方式,尤其在感知方面,在视觉方面这种方式非常明显,从感官到第一要区,再到高级的认知功能和记忆、判断推理、眼动、控制四肢手、运动规划都有这种方式的痕迹。 (责任编辑:本港台直播) |