这项任务的目标是通过一系列配对图像的训练集，学习从输入图像到输出图像的映射关系。然而，在大多数情况下，不容易获得所需的配对训练数据。

为了克服这个问题，引入了两个逆映射，使得每个映射的输出与另一个映射的输入相同，从而可利用少量数据来建立一个图像间尽可能完整的映射关系（即无监督学习）。

关于这方面工作的详细解读可移步量子位编译过的“带你理解CycleGAN，并用TensorFlow轻松实现”。

以下是这项研究工作的一些实例。

△通过检测视频中正在移动中的野马并把斑马条纹叠加上去，可将野马转换成斑马。

△改变图像中的季节，如把优胜美地的冬天变成夏天，把冬天变成春天，反之亦可。 更多信息

首页：

https://junyanz.github.io/CycleGAN/

代码：

https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

4、给草图上色

这项任务可根据物体轮廓生成逼真图像。在现实中，图像处理是一项具有挑战性的工作，因为它需要以一种用户可控的方式来修改图像外观，同时保留结果的逼真程度。这需要一定的技巧，一个艺术家可能需要苦练多年才能达到这一高度。

△GANs可利用物体轮廓生成逼真图像

研究人员构建了一个模型，在给定物体轮廓后，它能够识别这个物体并生成该物体的逼真图像。

然而，在伯克利大学的一篇论文中，作者Jun-Yan Zhu提出了一种利用生成对抗网络直接从数据中学习自然图像流形的方法。该模型能自动调整输出以保持所有编辑尽可能地逼真，以及所有操作都是用约束优化来表示的，处理过程近乎实时。

所提出的这种方法可进一步用于图像生成研究，或是基于个人涂鸦完整地产生新奇图像的研究中。

更多信息

论文：

https://arxiv.org/pdf/1609.03552v2.pdf

代码：

https://github.com/junyanz/iGAN

首页：

https://people.eecs.berkeley.edu/~junyanz/projects/gvm/

5、仅根据文本描述来生成图像

能否仅根据文本来自动生成逼真图像？这听起来就十分有趣。

最近，研究人员提出了一种深度卷积生成对抗网络（Deep convolutional generative adversarial networks），可以产生一些高度逼真的图像，但是目前仅针对特定类别，如人脸、唱片封面和房间内饰。

该模型的训练数据为一些文本描述及其对应图像的样本集。当给出任何物体描述时，这个模型会尝试根据描述来生成图像。

△该模型能根据详细的文字描述来生成似乎合理的花鸟图像。

在这项工作中，所构建的模型首先获取关于图像合成的文本描述，其次学习捕捉文本中描述重要视觉信息的特征，然后使用这些特征来合成出能愚弄人的逼真图像。

更多信息

论文：

https://arxiv.org/pdf/1605.05396.pdf

代码：

https://github.com/paarthneekhara/text-to-image

6、通过“好奇心”驱动学习

“好奇心”机制推动了对深层神经网络的探索。在许多现实场景中，对操作者的外部奖励是非常稀疏的或几乎不存在的。因此，由于这种内在特性，操作者处于被动状态，很难进行进化和学习。

在这种情况下，好奇心可以作为一种内在的奖励信号，让操作者去探索未知的新环境，学习一些在以后生活中可能有用的技能。在这些情况下，主动学习者的效果远远好于被动学习者。

在这个模型中，我们将操作者预测自身行为可能导致后果的能力，即预测值和真实值之间的误差称为好奇心（Curiosity）。当然，在此空间中，机器人也可通过程序员建立的奖励机制来学习。

我们可将这个模型类比为小孩的认知过程。如果父母不告诉这个小孩，他并不知道他碰到一个热火炉后会发生什么，但是一旦他这么做了，atv，他就学会下次不这么做，因为触摸到炉子后，他会感到十分疼痛，这就存在前后的因果关系。

“好奇心”机制推动他去探索，同时奖励机制会标记这个行动的好坏。

△在这个游戏中，小蛇正在学习收集能增加奖励的绿球，同时避开能减少奖励的红球，这些是通过“好奇心”机制实现的。

“好奇心”驱动学习有如下三个大概的研究背景：

1).极少的外部奖励，与外部环境的相互作用远远少于期望值；

2).不输入外部奖励,好奇心促使操作者的探索更有效；

3).推广到未接触过的场景（例如同一游戏的新关卡），从早期经历获得知识的操作者比从头开始探索新地点的操作者学习要快得多。

我们在两个游戏环境中评估所提出的方法：毁灭战士（VizDoom）和超级马里奥兄弟（Super Mario Bros）。

更多信息

论文：

https://pathak22.github.io/noreward-rl/resources/icml17.pdf

代码：

https://github.com/pathak22/noreward-rl

首页：

https://pathak22.github.io/noreward-rl/index.html#demoVideo

7、AI设计游戏