微软的 Malmo 项目的目的之一就是教会 AI 软件与人类合作。为此，该项目的负责人 Katja Hofman 试图利用“我的世界”游戏创建一个智能的私人助理。她的目标是，这个软件能够预测它的人类操作者想要的东西，并帮助他实现。“我的世界”游戏里的世界虽然比现实世界简单，但仍然很复杂，吸引了研究者们的兴趣，可以说是完美的测试地。Hofman 博士和她的同事们使用这个游戏来试图教计算机与人类玩家合作，在游戏里捕捉一只虚拟的猪。由于机器无法理解书面的指示，因此，必须通过观察游戏中人类伙伴的动作来学习如何合作。

　　2. DeepMind Lab

　　DeepMind的DeepMind Lab 是一个专为基于智能体的 AI 研究设计的，完全像 3D 游戏般的平台。它从自己的视角，通过模拟智能体的眼睛进行观察。场景呈现的视觉效果是科幻风格。可用的操作能让智能体环顾四周，并且以3D的形式移动。智能体的“身体”是一个悬浮的球体，通过激活与期望运动方向相反的推动器实现悬浮和移动，并且具有围绕其主体运动的，能够观察其旋转时动作的摄像头。示例任务包括收集水果、走迷宫、穿越危险的通道且要避免从悬崖上坠落、使用发射台在平台间穿越、玩激光笔、以及快速学习并记住随机生成的环境。下面是智能体在 DeepMind Lab 中如何感知并与世界交互的图示。

　　3. OpenAI Universe

　　OpenAI Universe， 根据其官方博客的介绍，这是一个能在几乎所有环境中衡量和训练 AI 通用智能水平的开源平台，当下的目标是让 AI 智能体能像人一样使用计算机。目前，Universe 已经有1000种训练环境，由微软、英伟达等公司参与建设。研究人员介绍说，Universe 从李飞飞等人创立的 ImageNet 上获得启发，希望把 ImageNet 在降低图像识别错误率上的成功经验引入到通用人工智能的研究上来，取得实质进展。

　　DeepMind的启示：对神经网络来说，为数据中心降低能耗的任务与游戏无异

　　不过，视频游戏对 AI 的作用并非只是作为现实世界的模拟。不同的游戏需要不同的技能这一事实有助于研究人员理解智能问题。2015年 DeepMind 发表了一篇论文，描述研究人员如何训练人工神经网络去玩 Atari 公司在70年代~80年代间发行的数十种不同的游戏。

　　在这个研究里，有些游戏被证明相比其他游戏更难让神经网络掌握。“Breakout”是个有点像单人网球的游戏，这个对神经网络来说很简单。目标是通过用弹跳球去打击漂浮的积木组。玩家可以选的有两个动作：将“球拍”向左或向右移动。一旦失败，立即会受到惩罚（一旦失球，则输掉游戏）。类似地，如果成功会立即得到奖励（被打掉的每个积木会增加得分）。这种简单动作，而且即时得到反馈的组合适用于 DeepMind 的神经网络，该神经网络玩“Breakout”的成绩是专业人类玩家能达到的最好成绩的十倍以上。

　　其他游戏就不那么简单了。在“蒙特祖玛的复仇”游戏中，目标是找到埋在充满危险机关的金字塔里的宝藏。要达到目标，玩家必须达成许多个次级的小目标，例如找到打开门的钥匙。这个游戏的反馈也不像“Breakout”那么即时，例如，在一个地方找到的钥匙可能能打开另一个地方的门。最终找到宝藏的奖励是之前的数千次动作的结果。这意味着网络很难将原因和结果联系起来。与“Breakout”游戏的突出表现相反，神经网络在“蒙特祖玛的复仇”游戏中几乎没有任何进展。

　　后来，DeepMind 的研究人员调优了算法，通过给探索和实验提供更大的奖励，让系统对事物更加好奇。这使得神经网络更常去做那些虽然没有立即得到结果，但后来被证明是好的策略的动作。这种方法不局限于在虚拟世界中掌握技能——也可以应用于真实世界。例如，DeepMind 的算法已被用于 Google 的数据中心，得以将数据中心的能耗降低 40%。实际上，对神经网络来说，为数据中心降低能耗的任务与游戏无差，网络可以根据能耗情况来调整冷却液泵的设置和荷载分布。让能耗“得分”越低，它的表现就越好。

　　神经网络灾难性遗忘的局限和解决办法：迁移学习