在该研究模型中,输入输出神经元的数量是固定的,执行赢者通吃计算也是完全是一堆辅助神经元的任务。Parter 解释说:「我们正在试着观察解决给定问题所花时间和辅助神经元数量之间的平衡。我们将神经元视为一种资源;不想太浪费。」 抑制的好处 Parter 和她的同事也表明,在他们的模型语境下,赢者通吃的策略要奏效,仅有一个抑制神经元肯定是不够的。但是两个抑制神经元就足够了。技巧在于一个抑制神经元——研究人员称之为收敛神经元——会发出强烈的抑制信号,如果不止一个输出神经元放电的话。另一个抑制神经元——稳定神经元——会发出弱得多的信号,只要任一输出神经元正在放电。 收敛神经元驱使回路挑选出一个单独的输出神经元,在这一点上停止放电;而稳定神经元防止第二个输出神经元被激活,一旦收敛神经元被关闭的话。源自输出神经元的自反馈回路提升了该效果。一个输出神经元被关闭的时间越长,就有可能继续维持关闭状态;开着的时间越长,就越有可能继续打开着。一但一个单独的输出神经元被选中,其自发聩回路就能确保克服稳定神经元的抑制。 不过,没有随机,回路就不会收敛到一个单独的输出神经元:抑制神经元权重的任一一种设置都会平等影响到所有输出神经元。Parter 解释说,你需要使用随机来打破这种对称性。 研究人员可以确定保证一个特定收敛速度最少需要多少个辅助神经元,以及给定特定数量的辅助神经元,其最快收敛速度是多少。 增加更多的收敛神经元会增加收敛速度,不过速度会有上限。比如,100 个输入神经元,两到三个收敛神经元就够了;增加一个也不会提升效率。只要一个稳定神经元就已经最优了。 不过,或许更有启发性的是,研究人员表明,包括兴奋神经元——刺激而不是抑制其他神经元放电的神经元——以及辅助神经元中的抑制神经元无法证明回路的效率。类似,任何一种没有察觉收敛神经元和稳定神经元差异的抑制神经元的安排都要比可以察觉到这一区别的安排更低效。 那么,假设进化趋于找到解决工程问题的有效解决方案,模型既告诉我们问题的答案就在大脑中,也提出了一个适于经验研究的撩人问题:真实的抑制神经元展示出类似收敛神经元和稳定神经元之间的区别了吗? 参考文献: PAPER: Computational tradeoffs in biological neural networks: Self-stabilizing winner-take-all networks https://arxiv.org/pdf/1610.02084v1.pdf ARCHIVE: Exploring networks efficiently ARCHIVE: New frontier in error-correcting codes ARCHIVE: New approach to vertex connectivity could maximize networks' bandwidth ARCHIVE: Reliable communication, unreliable networks ©本文为机器之心编译,转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |