自我监督学习用于来自双重和多重放大观测的实际世界超分辨率

ECCVMay, 2024

自我监督学习用于来自双重和多重放大观测的实际世界超分辨率

Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations

Zhilu Zhang, Ruohao Wang, Hongzhi Zhang, Wangmeng Zuo

TL;DR在这篇论文中，我们针对智能手机的参考图像超分辨率（RefSR）处理中的两个挑战性问题进行了研究，即如何选择适当的参考图像和如何以自监督的方式学习 RefSR。同时，我们提出了一种针对真实场景下的 RefSR 的自监督学习方法，通过观察双重和多重摄像头放大的图像。我们的方法在实验中表现出更好的定量和定性性能，并提供了可用的代码。

Abstract

In this paper, we consider two challenging issues in reference-based super-resolution (RefSR) for smartphone, (i) how to choose a proper reference image, and (ii) how to learn RefSR in a self-supervised manner. Particularly, we propose a novel self-supervised learning approach for real

reference-based super-resolution self-supervised learning dual and multiple camera zooms deep network progressive fusion

发现论文，激发创造

基于自监督学习的双重变焦观察下的实际场景超分辨率

本文提出了新的自监督学习方法 (SelfDZSR)，用于从采用双倍相机变焦观察的真实世界图像中进行超分辨率重建，并以高分辨率图像为监督信息，以匹配其低分辨率版本的特征。

Mar, 2022

双摄像头对齐注意力模块超分辨率

该研究提出了一种使用参考图像进行高保真图像超分辨率的新方法，针对双摄像头超分辨率进行了重点研究，其利用空间对齐操作推广了标准的基于补丁的特征匹配方法。进一步探索了 RefSR 的一种有前途的应用：双摄像头超分辨率，并构建了由智能手机主摄像头和长焦摄像头的 146 个图像对组成的数据集。此外，为了弥合现实世界图像和训练图像之间的领域差距，该研究提出了一种自我监督的领域自适应策略。对数据集和公共基准的广泛实验表明，该方法在定量评估和视觉比较方面均显著优于现有最优方法。

Sep, 2021

RZSR: 基于参考和深度引导的零样本超分辨率与自我示范

该研究提出了一种被称为参考零样例超分辨 (RZSR) 的方法，该方法结合了参考超分辨 (RefSR) 和零样例超分辨 (ZSSR) 两种策略，利用内部参考数据集和非局部注意力模块，从图像自身提取纹理丰富、高频细节的参考图像块，训练出一种图像特定的超分辨网络，在超分辨任务中具有出色表现。

Aug, 2022

使用多相机视频三元组参考的视频超分辨率

该研究提出利用引用视频进行超分辨率处理的引用视频超分辨率（RefVSR）网络模型，实验结果表明，该模型在三个摄像头的超宽视频三重组成的数据集上表现出了最先进的 4x 超分辨率性能。

Mar, 2022

低分辨率引领未来：通过自监督学习提高超分辨率的泛化能力

使用 “Low-Res Leads the Way”（LWay）训练框架，结合有监督预训练和自监督学习，通过提取低分辨率（LR）图像的降级嵌入，与超分辨输出合并进行 LR 重建，并利用未见过的 LR 图像进行自监督学习，从而提高图像超分辨模型对真实世界图像的适应能力和细节恢复能力，并通过离散小波变换（DWT）进一步改进对高频细节的聚焦，该方法在未见过的真实世界数据集上显著改善了超分辨模型的泛化能力和细节恢复能力，并超越了现有方法，是一种适用于实际图像超分辨应用的通用训练方案。

Mar, 2024

相机镜头超分辨率

研究了基于摄像头镜头的 CameraSR 方法，旨在改善实际成像系统中分辨率（R）和视野范围（V）之间的固有平衡问题，并提出了两种新的数据采集策略， City100 数据集表明， CameraSR 具有提高单图超分辨率性能的实际解决方案，并且可以快速推广到不同的内容和设备上作为实现数字变焦的高级工具。

Apr, 2019

KeDuSR：通过无核匹配实现真实世界双镜头超分辨率

利用双镜头进行超分辨率图像重建，首先通过全局和局部变形将参考图像与低分辨率图像对齐，然后利用无核匹配策略完成图像配准，解决了分辨率差异和保持一致性的问题，并通过构建数据集验证了方法的有效性。

Dec, 2023

基于注意力机制的多参考学习用于图像超分辨率

本文提出了一种新颖的基于注意力的多参考超分辨率网络（AMRSR），该网络可以在保持空间相干性的同时，通过学习从多个参考图像中自适应地传输最相似的纹理到超分辨率输出来提高细节。与现有的参考超分辨率方法相比，多参考和分层注意力采样方法的结合实现了显着改进。

Aug, 2021

RefVSR++：利用参考输入进行基于参考的视频超分辨率

智能手机配备多摄像头系统和参考超分辨率以及视频超分辨率，可以同时改善图像质量；本文提出了 RefVSR 和 RefVSR++ 方法，通过独立地在时间方向上聚合图像序列并改进对齐机制，RefVSR++ 在 PSNR 上超过 RefVSR 1dB，达到最新的技术水平。

Jul, 2023

远距学习，学以致远

通过使用真实的 RAW 传感器数据进行训练，本文表明将机器学习应用于数码变焦较为有利。作者们还展示了如何通过光学变焦图像获取高准确度的真实高分辨率图像用于训练深度神经网络，并提出了一种新的上下文双边损失（CoBi）算法，使得训练出的网络在 4 倍和 8 倍的计算缩放中实现了最佳性能。

May, 2019