图 12 展示了这个生成模型的局限性。首先，尽管这个模型包含了语义解析网络，它在训练过程中能够获得一些高层次的特征，但是它并不能识别人脸的位置和方向。所以，这个模型不能处理那些未对齐的人脸。第二，如上所述，对这个模型而言，生成人脸的局部要比生成整张人脸要困难，因为这个模型不能总是检测到相邻像素之间的空间关联性。

图 12 模型的局限性。上排：在没对齐的图像中，我们的模型未能成功地合成人眼。下排：仍难生成正确属性的语义部分 (例如，红色唇彩)。

5. 结论

这个基于生成对抗网络的模型具有两个鉴别器和一个语义正则化网络，能够处理人脸修复任务。它能够在随机噪声中成功地合成缺失的人脸部分。

6. 点评

整体评价：

这篇论文提出了一个在人脸修复任务上有成功实例的生成模型。论文作者从数量和质量两个方面评估了其模型，因此结果相当可信。

这篇论文的贡献：

他们提供了一个设计生成对抗网络模型的新方式：同时使用多个鉴别器达成不同目标。例如，传统的自编码器使用 L_2 距离来重构图像，所以经常输出非常平滑的结果。之前的工作经常使用从深度分类神经网络中得到的映射向量来改善这个结果。但是在这篇论文中，开奖，作者证明使用不同的鉴别器也能够得到更低的平滑度，从而结果更好。

论文作者把训练过程分成了几个阶段，这对训练生成对抗网络而言确实是一个好想法。这就像人类学习的方式：人们首先学习一个物体的轮廓 (和这个项目中的图像重建类似)，然后一步一步地学习每一部分的细节 (类似于这个项目中第二阶段的微调以及第三阶段)。

论文作者还证明了「峰值信噪比 (PSNR)」和「结构性相似指数，SSIM」不足以评价重构或生成结果，因为这两个指标是倾向于平滑和模糊的结果。如图 3、表 1 和表 2 所示，子图 M1 比 M2 和 M3 具有更高的 SSIM 和 PSNR。但是 M2 和 M3 明显具有语义层面更加合理的生成结果。

这篇论文还证明，语义解析网络能够在生成对抗网络的随机噪声上提供一些额外的 (语义) 限制，以得到更加逼真的结果。图 10 还展示了这些限制使得生成对抗网络能够识别人脸的组成部分，因此生成对抗网络能够在不同的随机噪声中以相似的形状和尺寸生成人脸的缺失部分，仅仅在一些细节上有差别，例如眉毛的阴影。

改进建议

这个模型一个局限是并不能处理一些未对齐的人脸，可以增加一个面部变形的网络来将输入的人脸规范化。

使用其他类型的图像 (如建筑或风景) 来训练这个模型，来判断其对其他类型的修复任务是否具有鲁棒性。

参考文献

　　[1] Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015).

　　[2] Yang, Jimei, et al. "Object contour detection with a fully convolutional encoder-decoder network." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

　　论文链接：https://arxiv.org/abs/1704.05838