【启航期 85 折票价倒计时仅 2 天】GAN 作者 Ian Goodfellow 正式确定，以视频形式参加 3月27日新智元 AI 技术峰会。这是 Ian 从 OpenAI 重回谷歌大脑后首次重大亮相，除了 GAN 及其应用，Ian 还将展望深度学习技术和应用的发展，并寄语中国新智能时代——新智元 AI Era。现场目睹新一代深度学习大牛风采，点击“阅读原文”抢票。

　　【新智元导读】在 AlphaGo 获胜一周年的今天，DeepMind 发表最新研究成果，让神经网络成功在学习新任务的同时，不忘老的任务，向着自适应学习迈出重要一步。新智元盘点 DeepMind 一年多以来的技术和商业成果，他们确实一直向着“解决智能”在努力。在赞叹的同时，我们也需要问自己——中国的 DeepMind 在哪里？

　　“以前，我们有一个能够学会玩任何游戏的系统，但它一次只能学会玩一个游戏，” DeepMind 研究科学家 James Kirkpatrick 在接受 Wired 采访时表示，“现在我们展示了一个可以一次学习玩好几个游戏的系统。”

　　Kirkpatrick 提到的这项研究今天在《美国科学院院刊》（PNAS）上发表，展示了 DeepMind 研究人员利用监督学习和强化学习，克服神经网络“灾难性遗忘”的问题——他们成功让 AI 实现了序列学习（sequences learning）。

　　DeepMind 表示，他们借鉴了神经科学的原理，从哺乳动物和人类的大脑固化以往知识的理论中汲取了灵感。

　　为了让 AI “拥有记忆”，DeepMind 研究人员此前曾经提出了可微分神经计算机（DNC），将一个外部存储结构引入神经网络。这次，他们开发了一种称为“弹性权重加固”（EWC）的算法，可以说是从内部改善，让神经网络能够在学习新任务的同时，不会忘记此前已经学到的内容。

　　根据 Kirkpatrick 的解释，算法能够挑选出它成功学会玩一款游戏中最有用的部分，并将这部分知识保留下来。“我们只允许 AI 在游戏之间以非常缓慢的速度做出改变，”Kirkatrick 说：“这样就有空间去学习新的任务，同时发生的变化也不会覆盖以前学习的内容。”

　　Kirkpatrick 表示，开奖，这项成果证明了神经网络可以完成序列性的学习，但这对学习效率是否有提升还不明确。

　　“我们的下一步是尝试和利用序列学习去改进现实世界的学习。”

　　DeepMind 再出击，修改学习规则，让神经网络拥有记忆

　　DeepMind 今天在官方博客发文，具体阐释了他们的这项研究成果。计算机程序在学习执行一项任务后，通常也很快就会忘记它们。DeepMind 在最新的 PHAS 论文中，提出可以修改学习规则从而克服程序遗忘的方法，让程序在学习一个新任务时能够记得旧的任务。这是程序朝向更智能化，能够持续、自适应地学习迈出的重要一步。

　　深度神经网络是目前用于解决各种任务（包括机器翻译、图像分类、图像生成等）的最成功的机器学习方法。然而，深度神经网络的设计让它们通常只有在所有数据一次性呈现时才能学习多个任务。在一个特定的任务上训练的网络，其参数只适应解决该特定任务。当引入新任务时，新的适应改写了神经网络在前一个任务上获得的知识。这种现象在认知科学中被称为“灾难性遗忘”，并且被认为是神经网络的基本局限之一。

　　相比之下，人类的大脑的工作方式与之非常不同。人类能够逐步学习，一次学会一个技能，并且在学习新任务时能够运用先前学到的知识。DeepMind 在最新的 PNAS 论文中，提出一种能够克服神经网络的灾难性遗忘的方法。我们的灵感来源于神经科学中有关哺乳动物和人类大脑固化既往获得的技能和记忆的理论。

　　神经科学家已经发现，大脑存在两种固化（consolidation）方式：系统固化和突触固化。系统固化是指将大脑中快速学习过程获得的记忆印记到缓慢学习的过程。根据已有研究，这种记忆是由有意识和无意识的回忆所介导的——例如，这个过程有可能在睡梦中发生。第二种机制是突触固化，是指那些在先前的学习任务中扮演重要角色的神经元之间的连接，不太可能被重写。我们的算法就是从大脑的这种机制得到灵感，试图解决灾难性遗忘问题。

　　学习两项任务过程的示意图：使用EWC算法的深层神经网络能够学习玩一个游戏，然后转移它学到的玩一个全新的游戏。