我们的研究也推进了人类对大脑中突触巩固(synaptic consolidation)形成方式的理解。实际上,作为我们的研究基础的神经科学理论目前只是在非常简单的例子中得以证明。通过表明那些相同的理论也可以适用到更加现实和复杂的机器学习环境中,我们希望能够进一步赋予这一思想更大的重要性:突触巩固是保留记忆和方法的关键。 论文:克服神经网络中的灾难性遗忘 (Overcoming catastrophic forgetting in neural networks) 摘要 以顺序的方式学习任务的能力对人工智能的开发来说是至关重要的。到目前为止,神经网络都还不具备这种能力,而且人们普遍认为灾难性遗忘(catastrophic forgetting)是连接主义模型(connectionist model)的不可避免 特征。我们的研究表明有可能克服这种限制并训练出能够在很长一段时间里在它们没有经历过的任务上保持专业知识的网络。我们的方法能够选择性地减慢对这些任务而言比较重要的权重的学习速率。通过解决一系列基于手写数字数据集的分类任务和按顺序学习多个 Atari 2600 游戏,我们表明我们的方法是可扩展的和有效的。 原文地址:https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/ 机器之心编译,j2直播,转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |