从模拟中学习有利于让数据收集变得更加容易，因为物体可以容易地被限制和分析，同时实现快速训练，因为学习可以在多个实例之间并行进行。因此，这是需要与现实世界进行交互的大规模机器学习项目的先决条件，例如自动驾驶汽车。谷歌无人车的技术主管 Zhaoyin Jia 说，「如果你真的想做无人驾驶车，模拟是必需的」。Udacity 已经开源了它用来进行无人驾驶汽车工程纳米学位教学的模拟器，在图 7 中可以看到，OpenAI 的 Universe 平台将可能允许用《侠盗飞车 5(GTA 5)》或者其他视频游戏来训练无人驾驶汽车。

图 7：Udacity 的无人驾驶汽车模拟器

另一个必需从模拟中学习的领域是机器人：在实际的机器人上训练模型是非常缓慢和昂贵的。从模拟中学习并且将知识迁移到现实世界的机器人上的方式能缓解这个问题，并且这种方面最近正得到越来越多的关注 [8]。图 8 中可以看到一个在现实世界和模拟中操作数据的一个例子。

图 8：机器人和模拟图片 (Rusu et al., 2016)

最后，另一个方向是通向通用人工智能的途径，其中模拟会是一个必需的组成部分。在现实世界中直接训练一个代理来实现通用人工智能的代价太高，并且不必要的复杂度还会在初始的时候阻碍训练。相反，如果基于诸如 CommAI-env [9] 的模拟环境的话，学习也许会更加成功，如图 9 所示。

图 9：Facebook 人工智能研究院的 CommAI-env (Mikolov et al., 2015)

适应到新的域

尽管从模拟中学习是域适应的一个特例，总结一些域适应的其他例子也是有价值的。

域适应在视觉中是一个常规的需求，因为标签信息易于获取的数据和我们实际关心的数据经常是不一样的，无论这涉及到如图 11 所示的识别自行车还是自然界中的其他物体。即使训练数据和测试数据看起来是一样的，训练数据也仍然可能包含人类难以察觉的偏差，而模型能够利用这种偏差在训练数据上实现过拟合 [10]。

图 10：不同的视觉域 (Sun et al., 2016)

另一个常见的域适应场景涉及到适应不同的文本类型：标准的自然语言处理工具（例如词性标签器或者解析器）一般都是在诸如华尔街日报这种新闻数据上进行训练，这种新闻数据在过去都是用来评价这些模型的。然而，在新闻数据上训练出的模型面临挑战，难以应对更加新颖的文本形式，例如社交媒体信息。

图 11：不同的文本类型/风格

即使在产品评价这样的域中，人们采用不同的词汇和短语去表达同样的观点。因此，在一种类型的评论上训练出的模型应该能够解决人们使用的通用和特定领域的意见词，以免被域的变化所混淆。

图 12：不同的主题

最后，尽管以上的挑战都是处理一般的文本或者图像类型，如果我们考虑涉及到单个用户或者用户组的域，问题就被放大了：以自动语音识别（ASR）为例。语音指定会成为下一个大平台，据预测，到 2020 年，我们所有搜索的 50% 将会通过语音执行。大多数自动语音识别系统都在由 500 位说话人组成的标准数据集上进行传统测试。如此一来，大多数拥有标准口音的人则是幸运的，然而，移民、非标准口音的人、语音障碍的人以及儿童则会不容易被理解。现在比以往任何时候都需要能够适应个体用户和少数群体的系统，以确保每个人的声音都能被听懂。

图 13：不同的口音

跨语言迁移知识