使用多相机视频三元组参考的视频超分辨率
智能手机配备多摄像头系统和参考超分辨率以及视频超分辨率,可以同时改善图像质量;本文提出了 RefVSR 和 RefVSR++ 方法,通过独立地在时间方向上聚合图像序列并改进对齐机制,RefVSR++ 在 PSNR 上超过 RefVSR 1dB,达到最新的技术水平。
Jul, 2023
该研究提出了一种使用参考图像进行高保真图像超分辨率的新方法,针对双摄像头超分辨率进行了重点研究,其利用空间对齐操作推广了标准的基于补丁的特征匹配方法。进一步探索了 RefSR 的一种有前途的应用:双摄像头超分辨率,并构建了由智能手机主摄像头和长焦摄像头的 146 个图像对组成的数据集。此外,为了弥合现实世界图像和训练图像之间的领域差距,该研究提出了一种自我监督的领域自适应策略。对数据集和公共基准的广泛实验表明,该方法在定量评估和视觉比较方面均显著优于现有最优方法。
Sep, 2021
在这篇论文中,我们针对智能手机的参考图像超分辨率(RefSR)处理中的两个挑战性问题进行了研究,即如何选择适当的参考图像和如何以自监督的方式学习 RefSR。同时,我们提出了一种针对真实场景下的 RefSR 的自监督学习方法,通过观察双重和多重摄像头放大的图像。我们的方法在实验中表现出更好的定量和定性性能,并提供了可用的代码。
May, 2024
本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法,利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理,使用视差注意机制融合立体视点,对新收集的 SVSR-Set 数据集进行了广泛实验,取得了与最新方法相媲美的结果。
Apr, 2022
本文提出了一种用于航空监视的双摄像头系统,通过基于参考的超分辨率生成高空间 - 时间分辨率视频帧,并结合光流估计和注意机制,以捕捉两个视频源帧之间的细微运动和复杂依赖关系。通过模拟实验,证明该模型在 PSNR 和 SSIM 度量方面相较现有的基于参考的超分辨率技术取得显著改进,并在功耗受限的无人机上部署时表现出足够的帧率适用于广域航空监视。
Oct, 2023
本文提出了新的自监督学习方法 (SelfDZSR),用于从采用双倍相机变焦观察的真实世界图像中进行超分辨率重建,并以高分辨率图像为监督信息,以匹配其低分辨率版本的特征。
Mar, 2022
本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法,利用空间和时间的信息来实现视频帧的超分辨率,实验证明该方法优于现有的超分辨率模型。
Apr, 2022
利用过去的多个帧重建高清视频的方法叫做视频超分辨率技术,但现有的方法无法有效利用自相似和相似模式间的关系,因此我们提出了一种新的多对多和非局部多对多聚合策略,建立了一个称为 MuCAN 的网络来解决这个问题,实现了最先进的结果。
Jul, 2020
该论文系统研究了基于深度学习的 33 种视频超分辨率方法,提出了一个分类法并将这些方法分属到六个子类中,并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性 VSR 方法的性能进行总结和比较,讨论了 VSR 领域中需要进一步研究的一些挑战。这项工作预计对 VSR 技术的深度学习方法做出贡献,从而深化我们对该领域的理解,并成为该领域中最早的系统研究之一。
Jul, 2020