Universe 通过一个通用的接口适用于各种场景：智能体通过捕捉屏幕的像素生成对键盘和鼠标的命令来操作远程桌面。场景需要 VNC 服务器，universe 库将智能体转换为 VNC 客户端。

　　Universe 的设计目标是支持单个的 Python 进程，以每秒60帧的速度并行驱动20个场景。每个屏幕的缓冲区是 1024×768，因此用外部进程直接读取每一帧需要3GB/s的内存带宽。我们用 Go 写了一个面向批处理的VNC服务器，它可以作为Python共享库加载，并且逐步更新每个场景的一对缓冲区。在尝试了许多 VNC 服务器、编码器和无证书协议选项的组合之后，现在的组合能以60帧/秒的速度驱动几十个场景，延迟是100毫秒——这些延迟几乎都是服务器端编码引起的。

　　以下是我们当前实现的一些重要特性：

　　通用性。智能体可以使用这个接口（最初是为人类设计的）与现有的任何计算机程序交互，而不需要仿真器或接入程序内部。例如，智能体可以玩任何一款计算机游戏，与终端交互，浏览网页，使用 CAD 软件制图，使用图片编辑软件或者编辑电子表格，等等。

　　熟悉性。由于人们已经非常熟悉这些像素/键盘/鼠标的界面，人们可以轻松操作universe的任何场景。我们可以使用人类表现作为有意义的基准，只需简单地保存 VNC 流量记录跟踪人类的演示。我们发现，在转换到增强学习为给定的激励函数进行优化前，这些演示在对使用行为克隆（即使用监督学习模拟人类行为）的合理策略的智能体进行初始化时非常有用。

　　以 VNC 作为标准。VNC 的许多实现都可以在线使用，而且包括 OSX 在内的一些实现已经默认封装到常见的操作系统中。在 Java 中甚至有允许用户提供演示而无需安装任何新软件的 VNC 实现——这对 Amazon Mechanical Turk 之类的服务非常重要。

　　易于调试。我们可以在智能体正在训练或评估时进行调试，只需将 VNC 客户端附加到共享环境的 VNC 桌面。还可以保存 VNC 流量供以后分析。

　　我们都很惊讶 VNC 的作用如此强大。随着我们的游戏更大型，我们将开始使用额外的后端技术。但初步的迹象表明，现有的实现能够更好：设置正确的话，用户能够以每秒20帧的速率在公共互联网上运行 GTA V。

　　环境

　　我们已经在Universe中加入了大量的运行环境，并且，我们认为这仅仅是一个开始。每一个环境都被打包成一个Docker图像，包含了两个服务器，来与外部的环境进行沟通：VNC服务器会向显示器发出信号，并接收键盘或者鼠标发出的指令；WebSocket 服务器会发出强化学习任务所反馈的信号（以及所有的辅助信息，比如文本或者诊断），此外，还会接收控制信息（比如要运行的具体环境ID)。

　　Atari 游戏

　　Universe 包含Arcade 学习环境中的2600种Atari游戏。这些环境现在在quay.io/openai/universe.gym-core 的Docker 图像上异步运行，并允许智能体在网络之上进行连接，这意味着智能体必须要处理延时和低帧率。通过在云上的局部网络上运行，我们通常可以达到60帧每秒，观察滞后20毫秒，行动滞后10毫秒。在整个公共的互联网上，能降到20帧每秒，观察滞后80毫秒，行动滞后30毫秒。

　　Flash 游戏

　　在 Universe 的扩展上，我们把Flash 游戏作为一个起始点，这些游戏在互联网上几乎是无处不在dd ，总体上特征比Atari 要丰富得多，但是个体上依然非常简单。我们已经筛选了超过3万个游戏，并预计，atv，还有一个数量级的游戏没有收录。

　　最初发布的 Universe 包含了1000个Flash 游戏（其中有100个有回馈函数），在获得所有权持有者的同意之后，我们把它们发布在了 quay.io/openai/universe.flashgames Doker image上。此图像开启TigerVNC服务器并启动Python控制服务器，该控制服务器使用Selenium将所需游戏的Chrome浏览器打开到容器内页面，并自动点击启动游戏所需的任何菜单。

　　提取回馈