如果多个用户训练同一个巨型神经网络（giant neural network），同时允许参数复用，并且不会遗忘太多东西，则这对通用人工智能而言将是高效的。PathNet 是在这个方向上迈出的第一步。它是一个将代理嵌入到神经网络中的神经网络算法，其中代理的任务是为新任务发现网络中可以复用的部分。代理是网络之中的路径（称为 views），其决定了通过反向传播算法的前向和后向通过而被使用和更新的参数的子集。在学习过程中，锦标赛选择遗传算法（tournament selection genetic algorithm）被用于选择用于复制和突变的神经网络的路径。路径适配（pathway fitness）即是通过成本函数来度量的自身的表现。我们实现了成功的迁移学习；固定了从任务 A 中学习的路径的参数，并据此再进化出了用于任务 B 的新路径，这样任务 B 要比从头开始或 fine-tuning 学习得更快。任务 B 中进化的路径会复用任务 A 中进化出的最优路径的一些部分。在二元的 MNIST、CIFAR 和 SVHN 监督学习分类任务和一系列的 Atari、Labyrinth 强化学习任务上，我们都实现了正迁移，这表明 PathNet 在训练神经网络上具有通用性应用能力。最后，PathNet 也可以显著提高一个平行异步强化学习算法（A3C）的超参数选择的稳健性。

　　原文地址：https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.bzxfs9cig

©本文为机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]