从左到右,从上图中可以看到,经过学习的滤波器选择性地与正在重建的下边缘的方向一致。例如,最下面一行中间的滤波器,最适合于具有高度相干性(直的而非弯曲的边缘)的强水平边缘(梯度为90°的角)。如果同样一条水平边缘对比度较低,那么系统会自动选择位于最上面一行的某个滤波器。 实际上,在运行中 RAISR 会自动选择,并将经过学习的滤波器列表中,最适合的那个滤波器应用于低分辨率图像中的每个像素邻域。当这些滤波器被用于质量较低的图像时,它们会重建出质量与原始高分辨率图像相当的细节,同时对线性、双三次或 Lanczos 插值法有大幅提升。 RAISR 的一些实例如下:
上:原图。下:RAISR 超分辨率输出(2x)
左:原图。右:RAISR 超分辨率输出(3x) 实现超高分辨率中,较为复杂的一个方面是去除混叠伪影,例如以较低分辨率渲染高频内容时出现的莫尔图案(Moire patterns)和锯齿状图案(jaggies)。不同的底层特征形状,会使这些伪影产生的情况各有不同,而且很难消除。
左下角可看到混叠伪像 线性方法无法恢复基础结构,但 RAISR 可以。 下面是一则实例,其中左侧低分辨率原始图像中,数字 3 和 5 下空间频率混叠十分明显,而右侧 RAISR 将最初的结构恢复了过来。RAISR 所使用的滤波器学习方法的另一个重要优点是,我们可以经过训练,指定它去除某种压缩算法(例如 JPEG)特有的噪声或压缩伪像。通过提供伪像样例,RAISR 在提高分辨率之外,还能学会消除其他的效果,将其“融入”(baked)最终得到的滤波器内。
左:低分辨率原图,有很明显的混叠伪像。右:RAISR 输出,消除了混叠 论文 RAISR: Rapid and Accurate Image Super Resolution 在一帧或多帧图像中使用超分辨率技术已经取得了长足的发展。今天,机器学习与成像技术数十年的进步相结合,使得图像处理在很多方面都得到了提升。例如,除了改善手机上数字的“缩放”功能外,还可以在较低分辨率下捕获、保存或传输图像,并在确保质量不发生明显下降(肉眼不可见)的情况下,开奖,根据需求对图像进行低分辨率或超分辨率处理,并且在实现这些的同时,使用的移动数据和存储量都有所减少。 要详细了解该研究细节及其与其他架构的比较,请查看论文,不久后即将在期刊 IEEE Transactions on Computational Imaging 上发表。
【进入新智元公众号,在对话框直接输入“1115”下载论文】 :COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。 简历投递:j[email protected] HR 微信:13552313024 新智元为COO和执行总编提供最高超百万的年薪激励;为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。 加盟新智元,与人工智能业界领袖携手改变世界。 (责任编辑:本港台直播) |