选自Google Research

机器之心编译

参与：机器之心编译组

在今天的 Google Research 博客中，谷歌介绍了一种能够从低分辨率图像中生成高质量图像的技术 RAISR。相关技术论文可点击阅读原文下载。

每天网络上都会分享和存储数百万张图片，人们可以在这些照片中探索世界、研究有趣的新话题、甚至是与亲朋分享自己的假期生活。然而，很多图片会受到拍摄设备像素的限制，或者会因为手机、平板电脑 h 网络的问题而导致图像质量的下降。随着家用和移动设备上高分辨率显示器的普及，对低分辨率图像的高质量版本、快速查看以及可从多种设备分享的需求已得到了前所未有的提升。

在论文《RAISR： Rapid and Accurate Image Super-Resolution（快速准确的图像超分辨率）》中，我们介绍了一种结合了机器学习的技术，它能够生成低分辨率图像的高质量版本。RAISR 生成的效果可以比肩甚至优于现有的超分辨率方法，而且处理速度要快上 10 倍到 100 倍；同时，它还可以在典型的移动设备上实时运行。此外，我们的技术还能避免低分辨率图像中存在的重塑走样问题。

上采样是一种从低质量图片中生成尺寸更大、像素更多、质量更高的图像的过程，已经存在相当长的一段时间了。上采样中一些众所周知的方法是线性方法，它通过使用附近现有像素值的简单固定组合来填充新的像素值。这些方法很快，因为它们是固定的线性过滤器（一个均匀应用于图像的恒定卷积核）。但是这种让上采样快速运行的原因也是让使得它们不能有效地在更高分辨率的结果中给出更生动的细节。在下面的例子中可以看到，上采样的图像看上去比较模糊，你很难说这样的图像是被增强过的。

左图：低分辨率原图，右图：简单的（双三次）上采样版本（2×）

有了 RAISR 之后，我们就可以使用机器学习，并且可在图像对上进行训练了，一个低质量，一个高质量，然后你会发现，当它可选择地应用在低分辨率图像的每个像素上时，它会重塑出与原图质量相当的细节。RAISR 可以用两种方法训练。第一种是「直接」的方法，其中过滤器是直接从低和高分辨率的图像对中被学习。另一种方法需要首先将一个低计算成本的升频器应用到低分辨率的图像上（如上图）然后从上采样和高分辨率的图像对中学习过滤器。虽然直接的方法计算的更快，但是第二种方法允许非整数比例系数（non-integer scale factors），同时能更好的利用基于硬件的上采样。

对于这两种方法，RAISR 过滤器都可以根据在图像块中找到的边特征（edge feature）来获得训练——即亮度/颜色梯度、平坦/有纹理的区域等等——其特征的确定是通过方向（direction，即一个边的角度）、强度（strength，锐利的边有更大的强度）和相干度（coherence，一种对边的状态的度量）。下面是一组 RAISR 过滤器，它们是从 10,000 对高和低分辨率图像对的数据集中学习到的（其中低分辨率图像首先会被上采样）。其训练过程大概用去了一个小时。

合并为 3 倍超分辨率图像学习的 11×11 过滤器。这些过滤器可以为超分辨率系数，包括分级系数。其中，当边缘角度改变时，我们看到过滤器的角度也随之旋转。同样的，随着强度增加，过滤器的锐度也随之增加，同时过滤器的各向异性也随着相干性的增加而增加。

从左到右，atv直播，我们看到学习过滤器选择性地对应正在重建的下边缘方向。例如：底部行中间的过滤器最适合保持强水平边缘（梯度角 90°）同时具有高度相干性（一条直的，而不是弯曲的边缘）如果这条相同的水平边缘是低对比度的，则顶行中会有另一个过滤器被选中。

在实践中，运行时（at run-time）RAISR 会选择并应用学习到的过滤器中与低分辨率图像中每个相邻像素最相关的过滤器。当这些过滤器被应用于低品质的图像时，它们会重建具有原始高分辨率的的质量细节，对线性，双三次或 Lanczos 插值法等方式有显著的性能提升。