PAN 框架示意图。PAN 由图像变换网络T和判别网络 D组成。图像转变网络T 经过训练，负责合成给定输入图像的变换图像。判别网络 D的隐藏层用于评估感知对抗损失，D的输出用于区分转变后的图像和真实图像间的差异。

作者使用生成对抗损失和感知对抗损失的结合来训练 PAN。首先，与 GAN 一样，生成对抗损失负责评估输出图像的分布。然后，判别网络 D隐藏层的表征作为感知对抗损失，当输出和真实图像间存在差异时，会实施惩罚，训练转换网络 T生成与真实图像拥有相同高级特征的输出。

感知对抗损失在图像转换网络和判别网络之间进行对抗训练，能够持续地自动发现输出与真实图像间那些尚未被缩小的差异。

因此，当前高维空间上测量到的差异很小时，判别网络 D 的隐藏层仍然会更新，持续寻找新的、在输出和真实图像之间仍然存在差异的高维空间。

作者表示，感知对抗损失提供了一种新的策略，从尽可能多的角度来惩罚（缩小）输出和真实图像之间的差异。

下面是去除雨水痕迹、生成语义标记和画线生成照片的实验，由图可知 PAN 不仅同时胜任了这几种不同的任务，且单项的效果比几种当前性能最优的方法还要好。

论文介绍《用于图像转换的感知对抗网络 PAN》

摘要

在本文中，我们提出了一种用于图像转换任务的原理感知对抗网络（Perceptual Adversarial Network，PAN）。与现有算法不同——现有算法都是针对具体应用的，PAN 提供了一个学习成对图像间映射关系的通用框架（图1），例如将下雨的图像映射到相应的去除雨水后的图像，将勾勒物体边缘的白描映射到相应物体的照片，atv，以及将语义标签映射到场景图像。

本文提出的 PAN 由两个前馈卷积神经网络（CNN）、一个图像转换网络T 和一个判别网络D组成。通过结合生成对抗损失和我们提出的感知对抗损失，我们训练这两个网络交替处理图像转换任务。其中，我们升级了判别网络 D 的隐藏层和输出结果，使其能够持续地自动发现转换后图像与相应的真实图像之间的差异。

同时，我们训练图像转换网络 T，将判别网络 D 发现的差异最小化。经过对抗训练，图像转换网络T 将不断缩小转换后图像与真实图像之间的差距。我们评估了几项到图像转换任务（比如去除图像中的雨水痕迹、图像修复等）实验。结果表明，我们提出的 PAN 的性能比许多当前最先进的相关方法都要好。

论文地址：https://arxiv.org/pdf/1706.09138.pdf