另一种组织方式体现在高级认知系统中,我认为是模块化的。不同的脑区之间有相互反馈和信息的交互。比如记忆系统的沟通,强化学习性,它的连接关系相对来说是层次性的,比视觉系统复杂。在研究协同方面,我们也做了很多工作,比如视觉和层次的研究,我们根据现有的神经科学数据,构建了视觉的各种模型,它和以前的此类模型,包括 20 年前的听觉模型等方式大不相同。在新的视觉模型中,我们通过多层次构建了一个符合生物进化机制的目标函数,来求解区域之间的连接强度。 当然模型每层之间也有新的特性,例如侧向连接。模型中神经元的数量来自于一些生理数据。受到这些结构启发的模型,它在感受、空间分布,还有相应的神经元细胞的响应,实际观察来看同步性是非常相似的。 当然,模型还包含有类结蹄组织结构,神经元的倾向分位,差异分布等等特性。我们看到的协同,就是层次化的脑区的协同,我们希望能够构造符合生物进化机制的目标函数,使得它能量消耗最低。具体表现为突出的、连接的低能耗,还有表征的低能耗。另外我们从多脑区、高级定制、协同等方面也进行了研究,开发出了进阶模型。模拟了十几个脑区,完成从视觉编码开始,到最后做出决策的所有任务。这种模型被称为运动感知和决策模型。其中包含兴奋性通路和抑制性通路,还有内部的连接关系及扩散结构,不同的脑区相互作用等等。 应该说,这个模型基本上是用仿生的思路开发的。另外,我们对单个神经元的类型也做了很多的尝试。我们用不同类型的神经元构造出整个网络,模拟了脑区之间的竞争的机制,学习行为选择和权重更新等机制。 这个模型最终展现出来的学习机制总体而言比较简单,就是通过多巴胺的释放来调节学习的速度,这有点类似于奖惩信度分配——强化学习里面的逻辑机制。它呈现出了类似强化学习的功能,但它的复杂度、学习的速度都比后者要快。我们把刚才提到的视觉层次化与运动决策模块化整合在一起,研究无人机躲避障碍和处理突发事件的新方法,这些实验也是我们研究的一部分。这类研究最大的特点就是它具有可解释性,它完成每个决策时,每个脑区,每个神经网络发挥的作用都可以解释的,研究者可以清楚地观察到。这是我们新一代人工神经网络的重要特征。它不像现有的监督学习方式,在训练后处于黑箱状态,人们无法获知神经网络每一层的功能。我们的模型从仿生角度设计,atv,可以较清晰地观察特定脑区在发挥什么样的作用。 第三部分更加复杂,但对于类脑智能的价值也非常大。就是探究如何构造一个可以发育演化的模型。现有的神经网络学习与人类最大的区别在于时间尺度。人类的学习也许会经历几年或几天,它的时间序列非常长。我们目前的感知系统无法这样学习。我们的机器学习始终把目标函数作为优化的唯一的机制。而且在优化过程中,我们能看到其中有很多表示,其中印证了神经科学的一些发现,包括刚刚讲到的脑区细胞类型、分子状态、计算和存储的机制。 在最早神经科学把神经元的概念引入到机器学习中,启发了深度学习等方式之后,最新的成功研究和神经科学的关系越来越少了。但是,我们现在看到神经科学与机器学习融合的新机会正在出现。我们首先意识到机器学习的目标函数正在变得越来越复杂。现有的大多数神经网络都是单一目标函数,但有很多的神经网络可以随着不同的神经层、深度、时间产生变化。比如学习次数不同导致目标函数的不同, 它可能会有持续的捆绑性,我们在底层机器学习的设计中也许需要把它考虑在内。还有大家最熟悉的对抗式学习,它是由两个神经网络组成的,用一个网络修正另一个网络的输出的目标函数。这些方向为我们未来的机器学习模型打开了思路。 为了使优化更加高效。机器学习已经发展出了不同的网络结构。 神经科学与人工智能之间的关系存在三大假设: 1、大脑具有优化目标函数的能力。大脑特定的脑区,特定的结构具有在数学层面上优化目标函数的能力。 2、目标函数在不同脑区和发育阶段是不同的,现代机器学习的发展,实际上也是从这里受到启发的。 3、大脑中存在大量的专用机制,这是天生的、在进化中得来的,可以有效地解决一些关键的计划问题。 (责任编辑:本港台直播) |