不需要反向传播。进化策略只需要策略的前向通过，不需要反向传播（或价值函数评估），这使得代码更短、在实践中速度快了 2-3 倍。在内存有限的系统中，也不需要保留 episode 的记录从而进行后续的更新。我们也不需要担心 RNN 中的梯度爆炸问题。最后，我们能够探索更大类别的策略函数，包括不可微分的网络（比如二值网络），或者包括复杂模块的网络（例如包括 pathfinding 或多种优化层）。

高度可并行。进化策略只需要工作器彼此之间进行少量纯数量的通信，然而在强化学习中需要同步整个参数向量（可能会是百万数值的）。直观来看，这是因为我们在每个工作器（worker）上控制随机 seeds，所以每个工作器能够本地重建其他工作器的微扰（perturbations）。结果是，在实验中我们观察到，随着我们以千为单位增加 CPU 进行优化时，有线性的加速。

高度稳健。在强化学习实现中难以设置的数个超参数在进化策略中被回避掉了。例如，强化学习不是「无标度（scale-free）的」，所以在 Atari 游戏中设置不同的跳帧（frame-skip）超参数会得到非常不同的学习输出。就像我们所展现的，进化策略在任何跳帧上有同样的结果。

架构探索。一些强化学习算法（特别是策略梯度）用随机策略进行初始化，这总是表现为在一个位置有长时间的随机跳跃。这种影响在 Q 学习方法中因为 epsilon-greedy 策略而有所缓和，其中的 max 运算能造成代理暂时表现出一些一致的动作（例如，维持一个向左的箭头）。如果代理在原地跳动，在游戏中做一些事情是更有可能的，就像策略梯度的例子一样。类似于 Q 学习，进化策略也不会受这些问题的影响，因为我们可以使用确定性策略来实现一致的探索。通过研究进化策略和强化学习梯度评估器，我们能看到进化策略是一个有吸引力的选择，特别是在 episode 中的时间步骤量很长的时候，也就是动作会有长时间的影响。或者是在没有好的价值函数评估的时候进化策略也是好的选择。

对应地，在实践中我们也发现了应用进化策略的一些挑战。一个核心问题是为了让进化策略工作，在参数中加入噪声必然会导致不同的输出，从而获得一些梯度信号。就像我们在论文中详细说明的，我们发现使用虚拟 batchnorm 能帮助缓和这一问题，但在有效地参数化神经网络上还有进一步的工作要做，从而有不同的行为作为噪声的功能。还有一个相关的困难，我们发现在 Montezuma’s Revenge 游戏中，用随机网络很难在一级的时候得到钥匙，然而用随机动作能偶尔获得钥匙。

进化策略可媲美于强化学习

在两个强化学习基准上我们对比了进化策略和强化学习的表现：MuJoCo 控制任务和 Atari 游戏。每个 MuJoCo 任务（看以下示例）包含一个模拟身体的铰接式人物，策略网络获得所有关节的位置信息，需要输出每个关节的力矩（torques）从而前行。以下是在三个 MuJoCo 控制任务上训练的代理示例，任务目标是前行。

我们通常观察学习数据的效率来对比算法的表现。作为我们观察到的多少状态的函数，什么是我们的平均奖励？以下是我们获得的学习曲线，与强化学习进行了对比（在此案例中用的是 TRPO 强化学习算法，参考 https://arxiv.org/abs/1502.05477）:

数据学习效率对比。以上对比表明进化策略（橘黄）有着与 TRPO 算法（蓝色）相媲美的表现，尽管在所有情况下它不完全匹配或超越 TRPO 算法。此外，通过水平扫描我们可看到进化策略效率略低，但不低于 1/10（注意横坐标是指数标度）。

时间对比。取代观察看到的状态原数量，我们可以认为要观察的最重要的标准是时间：解决一个问题需要多久（以秒为计）？这一数值最终指示了一个研究人员可完成的迭代速度。因为进化策略算法需要的工作器（worker）之间的通信几乎可以忽略，我们能够使用 80 台机器上的 1440 个 CPU，10 分钟就解决最难的 MuJoCo 任务（3D 人形）。作为对比，在典型的一台机器上 32 个 A3C 工作器配置中，解决该任务需要 10 小时左右。用算法与工程上的努力，当然也能改进强化学习的表现，但我们发现在标准的云 CPU 环境中单纯延展 A3C 非常难，因为需要高通信带宽。

以下是用进化策略训练的 3D 人形任务行走的动图。就像我们所看到的，根据优化最终收敛到的局部最优值，结果挺多样的。