训练目标基于均方误差 (MSE)。在给定高分辨率训练数据集 I_n^{HR}, n=1 ... N 的情况下，可生成相应的低分辨率图像 I_n^{LR}, n=1 ... N，并在超分辨率重建之后以像素的方式（pixel wise）计算 MSE 损失：

图像超分辨率结果

作者从 ImageNet 选了图像用于训练。对于数据预处理，由于人类对亮度变化更敏感，他们将图像从 RGB 色彩空间转化到 YCbCr 色彩空间。在训练期间，从原始图像 I^{HR} 中提取 17r x 17r 像素的子图像 (例如，可选择 r = 2, 那么其为 34 x 34)。性能指标基于 PSNR。

上图所示为单一图像超分辨率重建结果。提出的模型实现了最佳 PSNR，并且超分辨图像的视觉对比表明，提出的模型创建了一个更锐化更高对比的图像，并为其他方法提供了显著改进。

上表显示了不同数据集的平均 PSNB。每类的最佳结果用粗体标出。相较于这些数据集中的其他模型，提出的模型表现更佳。

运行时间分析

提出的模型的一个巨大优势是速度。作者最终在 Set14 数据集上评估了其模型：

上图为在进行超分辨率重建操作时，不同模型在精度与速度间的权衡。相较于其它方法，上图表明了显著的提速 (> 10x) 以及更佳的性能 (+0.15 dB)，这使得在单块 GPU 上为超分辨率 HR 视频实时运行提出的模型成为可能。

评论者的思考

我认为单一图像超分辨率的力量的毋庸赘述。例如，它可以应用于视频播放、人脸识别以及医学影像领域。在 HD 视频播放领域，你可以享受更多的视频资源；在人脸识别以及医学影像领域，它能帮助研究者分析数据。本文的贡献在于采用一项称为像素洗牌的简单技术来学习单一图像超分辨率模型。在这种情况中，相较于以前固定的上采样内核，本文提出的模型不仅可学习更复杂的上采样函数，也可极速实时地运行该模型。基于这项技术，模型可实现 HD 视频超分辨率的实时播放。更重要的是，由于高效的像素洗牌技术，模型也可直接应用于 3D 卷积，这对时空视频建模至关重要。

参考

[1] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al. Imagenet large scale visual recognition challenge. International Journal of Computer Vision, pages 1–42, 2014.

　　本文为机器之心原创，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]