译者:刘小芹、王楠 :COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j[email protected] HR 微信:13552313024 新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元,与人工智能业界领袖携手改变世界。 【新智元导读】谷歌博客今天便忙不迭地更新,介绍他们最新的图像高清生成技术 RAISR。据悉,RAISR 生成图像的质量比当前超分辨率技术更好、时间最高快 100 倍,能够实时在移动设备上运行,还能消除低分辨率图像中的混叠伪影(aliasing artifacts)。【进入新智元公众号,在对话框直接输入“1115”下载论文】 每天,网络被用于分享、存储无数照片,让人们能够探索世界,研究新的话题,甚至能与朋友、家人分享旅程。然而,这些照片中有许多分辨率很低,它们或受拍摄设备分辨率的限制,或被故意降低分辨率以适应手机、平板以及网速的限制。随着家庭以及移动高清播放设备的普及,将低分辨率的照片变高清,并且能够在各种设备中快速查看、分享的需求前所未有的高。 谷歌最新高清图像生成法 RAISR 在“RAISR:快速精确的图像超分辨率”中,我们引入了一种结合机器学习的技术,目的是生成低分辨率图像的高清版本。RAISR 生成图像的质量能与当前可用的超分辨率技术相当,甚至更好,而且时间上快 10 至 100 倍,使得它能够实时地在移动设备上运行。此外,我们的技术能够避免把可能存在于低分辨率图像中的混叠伪影(aliasing artifacts)也重现出来。 上采样是从低分辨率图像生成像素更多,质量更高的大尺寸图像时常用的方法。上采样的公认方法是使用图像中现有像素值的简单、固定的组合在附近填充新像素值的线性方法。这些方法很快,因为它们是固定的线性过滤器(均匀应用于图像的固定卷积核)。但是这些上采样方法在快速的同时也使得它们生成的高清图像缺乏生动的细节。例如在下面的例子中,可以看到上采样生成的图像看起来很模糊——很难称之为“增强”。
左:低分辨率原图。右:简单(双三次)上采样图像(放大倍率 2x) RAISR 滤波器训练方法与侧重点
为 3x 超分辨率学习的 11×11 滤波器的集。滤波器能够为一系列超分辨率因子学习,包括分数因子。要注意的是,当边缘的角度改变时,过滤器的角度也会旋转。类似地,随着强度加大,过滤器的锐度也会加大,atv,并且滤波器的向异性随着相关性的提高而增大。 用 RAISR,我们使用机器学习训练一对图像(其中一张是低质量,一张高质量),当被选择性地应用于低分辨率图像的每个像素时,将重新创建质量与原图片相当的细节。 RAISR 可以通过两种方式进行训练。第一种是“直接”方法,滤波器直接从一对低分辨率和高分辨率的图像中学习。另一种方法则首先将计算上消耗少的上采样器(upsampler)应用于低分辨率图像(如上图所示),然后滤波器从一对上采样和相应的高分辨率图像中学习。虽然直接方法在计算上速度更快,但第二种方法可以使用非整数的缩放因子,从而更好地发挥基于硬件上采样的优势。 无论使用哪种方法,我们都是根据在小块图像中发现的边缘特征来训练 RAISR 滤波器——亮度/颜色梯度,平坦/纹理化区域等——着重于“方向”(direction,边缘的角度)、“强度”(strength,更大的强度)和“相干性”(coherence,边缘倾斜的程度)。下面是从包含了 1 万对高分辨率和低分辨率图像对(使用第二种方法,先对低分辨率图像进行上采样)的数据集中,学习得到的一组 RAISR 滤波器。全部训练过程大约需要一个小时。
上:运行时的 RAISR 算法,应用于升频输出。下:低分辨率原图(左),双三次上采样 2x 图像,RAISR 输出(右) (责任编辑:本港台直播) |