神经元+其它(Neuron+Other):神经元模型,包括其它由生物启发但不包括在其它神经形态模型中(如轴突、树突或神经胶质细胞)的组成部分。 Integrate-and-fire:一类更简单的生物启发的脉冲神经元模型。 McCulloch-Pitts:神经元模型是 McCulloch-Pitts 神经元的衍生模型[23],用于大多数人工神经网络论文。对于该模型,神经元 j 的输出遵循以下等式:
其中 y_j 是输出值,f 是激活函数,N 是输入到神经元 j 的数量,w_{i,j} 是从神经元 i 到神经元 j 的突触的权重,x_i 是神经元 i 的输出值。
图4. 在硬件中实现的神经元模型的层次结构。框的大小对应于该模型的实现数量,并且框的颜色对应于神经元模型的「系列」,系列名称标记在框的上方或下方。
图5. 神经元模型在由生物启发和模型复杂性方面的定性比较。 B. 突触模型 像一些神经形态研究特别关注神经元模型一样,这些模型偶尔也包含对突触模型的实现,在神经形态系统中,也有专门独立于神经元系统的突触模型。我们可以将突触模型分为两类:生物启发型突触实现,包括针对基于脉冲系统(spike-based system)的突触,以及用于传统人工神经网络(例如前馈神经网络)的突触实现。值得注意的是,突触通常为神经形态系统中最丰富的元素,或是特定芯片上需要最多元件的元素。对于许多硬件实现,特别是用于神经形态的新型材料的开发和使用,重点通常在优化突触实现。因此,开奖,突触模型往往相对简单,除非它们试图明确地模拟生物行为。对于更复杂的突触模型,一个普遍的方法是含有可塑性机制(plasticity mechanism),其导致神经元的强度或权重随着时间而变化。已经发现可塑性机制与生物大脑的学习有关。 C. 网络模型 网络模型解释了不同的神经元和突触如何相互连接以及相互作用的方式。从前面的章节可以看出,在神经形态系统中有多种神经网络模型可供选择。
图6. 神经形态系统可能需要的不同网络拓扑结构。确定神经形态实现所需的连接级别,然后找到适合该级别连接的适当硬件,这通常是一项重要的工作。
图7. 神经形态实现中网络模型的细分,按整体类型和相关论文数量的大小分组。 D. 总结与讨论 IV. 算法和学习 神经形态系统的未决问题的焦点围绕在算法。我们选择的神经元、突触和网络模型对所选择的算法产生影响,因为某些算法对于特定的网络拓扑、神经元模型或其它网络模型特征敏感。除此之外,第二个问题是系统的训练或学习是否应该在芯片上执行,或者网络的训练是否应该在芯片外执行,然后迁移到神经形态系统上实现。第三个问题是算法是否应该使用 on-line 和无监督学习(在此情况下,需要在芯片上训练),使用 off-line 和监督学习方法是否能够满足要求,或者是否应该结合两者使用。在后摩尔定律(post-Moore’s law)时代,神经形态系统作为流行的互补架构的一个关键原因是它们 on-line 学习的能力;然而,即使基础良好的神经形态系统也很难开发用于硬件编程的算法,无论是以 off-line 还是 on-line 的方式。在本节中,我们主要关注片上(on-chip)算法、chip-in-the-loop 算法和直接针对硬件的实现算法。
图8. 神经形态实现的模型(每年发表的论文数量)随时间的变化情况。
图9. 芯片上训练/学习算法的概览。框的大小对应于该类别中的论文数量。 A. 监督学习 B. 无监督学习 C. 总结和讨论 V. 硬件
图10. 神经形态计算的硬件实现。这些实现是相对基本的硬件实现,并且不包含 V-B 节中讨论的更异常的设备组件。 A. 高层级 B. 器件层级组件 C. 神经形态系统的材料 D. 总结和讨论 VI. 支持系统 VII. 应用
图13. 神经形态系统的应用细分。框的大小对应于该神经形态系统用于开发的应用的数量。 VIII. 讨论:神经形态计算的未来
图15. 主要神经形态计算研究在不同领域面临的挑战。 IX. 总结 致谢和参考文献(略) 更多有关GMIS 2017大会的内容,请点击「阅读原文」查看机器之心官网 GMIS 专题↓↓↓ (责任编辑:本港台直播) |