参与：吴攀、李亚洲

让机器具备生物一样的进化能力一直是计算机科学的一个热门研究领域，OpenAI 前几天发表了一篇相关研究的论文《用作强化学习的可扩展替代的进化策略（Evolution Strategies as a Scalable Alternative to Reinforcement Learning）》，机器之心当时也对那篇论文和另一篇来自谷歌的相关论文进行了介绍，参阅《》。今天，OpenAI 的博客深度解析了该研究机构的这项新研究，机器之心对该解读进行了编译介绍，论文可点击文末「阅读原文」查看。

进化策略（ES：evolution strategy）是一种已存在了数十年的优化技术，其在现代强化学习基准（如 Atari/MuJoCo）上的表现可以比肩标准的强化学习技术，同时还能克服强化学习的许多不便。

特别的几点包括：进化策略的实现更加简单（不需要反向传播），更容易在分布式环境中扩展，不会受到奖励稀疏的影响，有更少的超参数。这个结果令人吃惊，开奖，因为进化策略就好像是在一个高维空间中简单地爬山，每一步都沿着一些随机的方向实现一些有限的差异。

我们的发现是这种已有数十年之久思想强大结果的现代延续。比如说，在 2012 年，AlexNet 论文表明可以如何设计、扩展和训练卷积神经网络（CNN）以在图像识别任务上实现极其优秀的结果，而那时候大多数研究者还认为 CNN 并不是一种有希望的计算机视觉技术。类似地，在 2013 年，深度 Q 学习（Deep Q-Learning）论文表明可以将 Q 学习与 CNN 结合起来以成功地解决 Atari 游戏，从而使强化学习（RL）发展成为了一个有激动人心的实验结果的研究领域，而不再只是理论构想了。同样，我们的研究也表明进化策略可以在强化学习基准上实现优秀的表现，从而消除了人们之前普遍认为的进化策略方法不能用于高维问题的观点。

进化策略易于实现和扩展。我们的实现运行在一个包含了 80 台机器和 1440 个 CPU 内核的计算集群上，其可以仅在 10 分钟内就训练出一个 3D MuJoCo 人形步行者（在 32 核上，A3C 需要大约 10 小时）。使用 720 核，我们也能在 Atari 上实现可与 A3C 媲美的表现，同时还能将训练时间从 1 天降低至 1 小时。

下面，我们将首次简要描述传统的强化学习方法与我们的进化策略方法的对比，还会讨论进化策略和强化学习之间的权衡，最后还会突出介绍我们的一些实验。

强化学习

首先让我们简单看看强化学习的工作方式。假设我们有一些环境（比如游戏），atv，我们想要在其中训练一个代理。为了描述该代理的行为，我们要定义一个策略函数（policy function），这是该代理的大脑，用于计算该代理如何在一个给定的情形中采取行动。在实践中，这个策略通常是一个神经网络，其输入是该游戏的当前状态，然后计算可用的所有允许动作的概率。一个典型的策略函数可能有大约 1,000,000 个参数，所以我们的任务就是找到这些参数的确切配置，以使得该策略能够实现良好的表现（即在很多游戏中获胜）。

　　上图：在 Pong 游戏中，策略根据输入的屏幕像素来计算移动玩家拍子的概率（右边绿色的拍子）：上、下或不动。

该策略的训练过程如下所示。首先是一个随机初始化，我们让该代理与环境进行一阵交互，然后收集交互的「剧情（episode）」（比如，每个 episode 就是一局 Pong 游戏）。由此我们就能得到情况的完整记录：遇到了什么样的状态序列、在每个状态采取了什么动作、每一步的奖励如何。下图给出了一个例子，这三个 episode 每个都表示在一个假想环境中的 10 个时间步骤。其中每个矩形都是一个状态，如果奖励是正面的（比如把球击回给了对方），那么矩形就是绿色；如果奖励是负面的（比如没有接到球），那么矩形则为红色：

这幅图给出了改善策略的一个方法；导致绿色状态的行为是好的行为，导致红色的行为则很糟糕。然后我们可以使用反向传播来计算该网络参数的一次小的更新，该更新将使得未来的状态更有可能是绿色、更少可能是红色。我们预计更新后的策略会更好一点。然后我们迭代这一过程：收集另一批 episode，进行另一次更新……