允中 编译自 blog.openai.com

　　OpenAI今天发布一类新的强化学习算法：近端策略优化（Proximal Policy Optimization，atv，PPO）。因为易于使用和表现良好，PPO已经成为OpenAI默认的强化学习算法。

　　PPO让我们在根据挑战性的环境中训练AI策略，例如上面所示的Roboschool训练场中，智能体（agent）的任务是追逐粉红色的球体，并在期间学习走路、跑步、转向以及被击倒时如何站起来。

　　代码在此：

　　https://github.com/openai/baselines

　　Paper在此：

　　https://openai-public.s3-us-west-2.amazonaws.com/blog/2017-07/ppo/ppo-arxiv.pdf

　　最近在使用深度神经网络控制视频游戏等领域取得的突破中，策略梯度方法扮演了基础的角色。但策略梯度方法想要获得良好的结果非常困难，因为它对步长的选择比较敏感——太小。而且过程慢得让人绝望。样本效率通常也不好。

　　通过监督学习，我们可以轻松实现成本函数，运行梯度下降，而且很有信心能通过相对较小的超参数调优获得出色的结果。强化算法的成功路径并不明显，算法里有很多难以调试的部分。PPO则在样本复杂性和易于调优之间取得平衡，试图在每一步最小化成本函数计算更新时，确保与先前策略的偏差相对较小。

　　我们详细说明了使用自适应KL惩罚来控制每次迭代策略变化的PPO变体。新的变体使用其他算法中通常没有的新目标函数：

　　该目标实现了一种与随机梯度下降兼容的信赖域修正方法，并通过消除KL损失来简化算法，以及减小适应性修正的需求。在测试中，这一算法在连续控制任务上显示出最佳性能，几乎与ACER在Atari上的性能相匹配，而且实现起来更为简单。

　　OpenAI还使用PPO来教导复杂的模拟机器人。

　　例如波士顿动力的Atlas。这个模型具有30个不同的关节，普通的双足机器人只有17个左右。研究人员利用PPO训练模拟机器人，在越过障碍物时表现出跑酷的感觉。（不过在这个演示视频中，atv，没有感觉出来……）

　　基线：PPO和TRPO

　　这一次放出的基线版本包括PPO和TRPO的可扩展并行实现，它们都是用MPI进行数据传递。两者都是用Python3和TensorFlow。

　　OpenAI基线是一套强化学习算法的高质量实现。地址在：https://github.com/openai/baselines

　　可以直接输入下面这个命令安装：

　　pip install baselines