图 3 展示了模型的略图,以一张输入图像 x,一个目标物体蒙版 M 和目标类别 cy 作为开端,atv,输出处理图像。注意整个结构对于反向传播来说是全差分(fully differential)的。为了更加清晰,全周期架构(比如,通过 G(y, cx) 映射 y' → x hat)在图 3 中被省略了。 图 3:用于语义处理的蒙版条件式对比 GAN(mask-conditional contrast-GAN),以一张输入图像,一个目标物体蒙版和一个目标类别作为输入。 图 4:在给定目标蒙版的情况下,MSCOCO 数据集上蒙版对比型 GAN 和 CycleGAN 对马→斑马和斑马→马转译的结果对比。它展示了整合目标物体蒙版来脱离图像背景和目标语义的效果。其中,λ 和 β 控制着目标物体的相对重要程度。G 试图使此目标最小化,以对抗一组试图将其最大化的判别器 {Dcy }。大量实验表明每一个目标物体都在达到高质量处理结果的过程中扮演着重要角色。 实验结果对比: 表 1:在 Cityscapes 标注→图像数据集上的 FCN 得分情况对比。 表 2:在 Cityscapes 图像→标注数据集上的分类性能表现对比。 图 5:contrast-GAN 与 CycleGAN 在 ImageNet 上进行橙子→苹果(第一行)与苹果→橙子(第二行)转译的结果对比。 图 6:在给定目标蒙版的情况下,在 MSCOCO 数据集上,蒙版对比型 GAN 和 CycleGAN 对狗→猫和猫→狗转译的结果对比。 表 3:MSCOCO 数据集上 8 个蒙版条件式语义处理任务的 AMT 感知测试的结果对比。 图 7:在 MSCOCO 数据集上用蒙版对比式 GAN 对大量目标物体语义的处理结果实例。每一对图像都指明了期望目标语义,展示了原始图像(左)和处理后的图像(右)。 (责任编辑:本港台直播) |