|
【新智元导读】pix2pix 又有更新：悉尼大学的 Chaoyue Wang 等人受生成对抗网络（GAN）启发，在已有的感知损失基础上，提出了感知对抗网络（Perceptual Adversarial Network，PAN），能够持续地自动发现输出与真实图像间的差异，进一步提高图像转换的性能。在几种不同的图像转变任务中，PAN 的性能都超越了当前最优模型。 近来，卷积神经网络的发展，结合对抗生成网络（GAN）等崭新的方法，为图像转换任务带来了很大的提升，包括图像超分辨率、去噪、语义分割，还有“自动补全”，都有亮眼的表现。 例如，新智元此前介绍过的使用神经网络去除照片中的眼镜，iSee：深度学习“摘眼镜”，用集成数据训练神经网络识别抽象物体。
还有神经网络学会自动“脑补”：
对于给定的一张带有孔洞（256×256）的图像（512×512），神经补丁合成算法可以合成出更清晰连贯的孔洞内容（d）。神经补丁合成的结果可以与用Context Encoders（b）、PatchMatch（c）这两种方法产生的结果进行比较。 以及前一阵子很火的“画猫”项目：勾勒出物体边缘，神经网络就能自动补完生成对应的照片。
所有这些都很好。 那么，如果现在出现了一种框架，能够胜任上述所有图像转换任务，并且实现效果比每种单独的模型都要好呢？ 还真的出现了，那就是我们今天要介绍的感知对抗网络 PAN。先来看看 PAN 在几种不同的图像转换任务上的表现：
以上分别是去除图中雨水痕迹（类似去除眼镜）、补全图像空白，以及根据边缘生成对应物体照片的实现效果。 如何？PAN 是不错的 pix2pix 更新吧。 感知对抗网络 PAN，持续寻找并缩小输出与真实图像间的差异 我们知道，生成对抗损失有助于计算机自动生成更加逼真的图像。此前有工作将像素损失和生成对抗损失整合为一种新的联合损失函数，训练图像转换模型产生分辨率更清的结果。 还有一种评估输出图像和真实图像之间差异的标准，那就是感知损失（perceptual loss）。这种情况更多见于图像的风格化，一般使用训练好的图像分类网络，提取输出图像和真实图像的高级特征（比如内容、纹理）。通过缩小这些高级特征之间的差异，训练模型将输入图像转变为与真实图像拥有相同高级特征的输出。 一般来说，结合使用多种损失（函数）的效果通常比单独使用一种要好。事实上，通过整合像素损失、感知损失和生成对抗损失，研究人员在图像超高分辨率和去除雨水痕迹上取得了当前最好的结果。 但是，现有方法将输出图像和真实图像之间所有可能存在的差异都惩罚了吗？换句话说，我们能不能找到一种全新的损失，进一步缩小输出图像与真实图像之间差异呢？ 为了回答这个问题，悉尼大学的 Chaoyue Wang 等人提出了感知对抗网络（perceptual adversarial network，PAN）用于图像转换。作者写道，他们的论文作了如下贡献： 提出了一种感知对抗损失，利用判别网络的隐藏层，通过对抗训练过评估输出和真实图像之间的差异。 结合感知对抗损失和生成对抗损失，提出了感知对抗网络 PAN 这一框架，处理图像转换任务。 评估 PAN 在多项图像转换任务中的性能。实验表明，PAN 具有很好的图像转换性能。 感知损失＋GAN，在图像转换网络与判别网络间做对抗训练 感知对抗网络受生成对抗网络（GAN）的启发，包含一个图像转换网络 T和一个图像判别网络 D。
|
