接下来的这个部分非常酷。如前所述，EWC 并没有在这 10 个任务上实现人类水平的表现。为什么会这样？一个可能的原因是 Fisher 信息矩阵可能对参数重要程度的估计不佳。为了实际验证这一点，这些研究者研究了在仅一个游戏上训练的代理的权重。不管这个游戏是什么游戏，它们都表现出了以下模式：如果权重受到了一个均匀随机扰动的影响，随着该扰动的增加，该代理的表现（规范化为 1）会下降；而如果权重受到的扰动得到了 Fisher 信息的对角线的逆的影响，那么该分数在面临更大的扰动时也能保持稳定。这说明 Fisher 信息在确定参数的真正重要性方面是很好的。

然后，研究者尝试在 null 空间中进行扰动。这本来应该是无效的，但实际上研究者观察到了与逆 Fisher 空间中的结果类似的结果。这说明使用 Fisher 信息矩阵会导致将一些重要参数标记为不重要的情况——「因此很有可能当前实现的主要限制是其低估了参数的不确定性。」

讨论

贝叶斯说明

作者们对 EWC 给出了非常好的贝叶斯解读：「正式来说，当需要学习新的任务时，网络参数被先验所调节，也就是先前任务在给定数据参数上的后验分布。这能实现先验任务被约束的更快的参数学习率，并为重要的参数降低学习率。」

网络重叠

在刚开始时，我提到神经网络的过参数化（overparameterization）让 EWC 能实现优异的表现。有一个很合理的问题就是：为了每个不同的任务将网络划分到特定部分，这些神经网络能否给出更好的表现？或者通过共享表征，这些网络是否能高效地使用其能力？为了解答这个问题，作者们测量了任务对在 Fisher 信息矩阵上的重叠情况（Fisher Overlap）。对高度类似的任务（例如只有一点不同的两个随机排列）而言，Fisher Overlap 相当高。即使不相似的任务，Fisher Overlap 也高于 0。随着网络深度的增加，Fisher Overlap 也会增加。下图演示了该结果：

突触可塑性的理论

研究者还讨论了 EWC 可能能为神经可塑性方面的研究提供信息。级联（Cascade）理论企图构建突触状态的模型来对可塑性和稳定性建模。尽管 EWC 不能随时间缓和参数，也因此不能遗忘先前的信息，但 EWC 和级联都能通过让突触更不可塑而延展记忆稳定性。最近的一项研究提出除了存储自身的实际权重之外，突触也存储当前权重的不确定性。EWC 是该思路的延展：在 EWC 中，每个突触存储三个值：权重、均值和方差。

总结

没有遗忘的连续学习任务对智能而言很有必要；

研究表明哺乳动物大脑中的突触巩固有助于实现连续学习；

EWC 通过让重要参数变的更可塑，从而模拟人工神经网络中的突触巩固；

EWC 应用于神经网络时表现出了比 SGB 更好的表现，而且在更大范围上有一致的参数稳定性；

EWC 提供了说明权重巩固是连续学习的基础的线索证据。

　　原文链接：

　　本文为机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]