迈向统一的深度图像去雨技术:综述和新基准
本文针对单幅图像去雨算法进行了全面的研究和评估,建立了一个大规模的数据集作为对比基准,其中包括从合成图像到真实世界的雨天图像等多种数据来源和图像内容,并将其分为雨纹、雨滴、雨和雾三个子集,每个子集分别服务于不同的训练或评估目的。我们还提供了多种评估标准,从全参考度量到零参考度量,到主观评估和新颖的任务驱动评估。在数据集上的实验揭示了现有单幅图像去雨算法之间的差异和局限性,并提出了有前途的未来方向。
Mar, 2019
本文针对超高清(UHD)图像降雨的问题,提出了一个大规模的 UHD 图像降雨数据集 4K-Rain13k,包含 13,000 个 4K 分辨率的图像对。在此基础上,我们对处理 UHD 图像的现有方法进行了基准研究。此外,我们开发了一种有效且高效的视觉 MLP 架构(UDR-Mixer)来更好地解决这个问题。通过广泛的实验结果表明,我们的方法在性能上优于最先进的方法,同时保持较低的模型复杂性。
May, 2024
本文提出了一种高阶协同网络,其中包括多尺度紧凑约束和双向尺度内容相似度挖掘模块,有助于实现去雨滴效果的提高,并通过自我监督学习方法来提高模型性能。
Feb, 2022
为了克服缺乏大规模高质量配对训练样本对真实图像除雨(RID)过程的阻碍,本研究构建了包含 3000 个视频序列和 100 万帧高分辨率(1920*1080)图像配对数据的大规模高质量真实雨数据集(LHP-Rain)。该数据集的优势有三个方面:具有更高多样性和更大规模的雨,高分辨率和高质量的合成图像。此外,研究提出了一种新颖的鲁棒低秩张量恢复模型用于生成更好地分离静态背景和动态雨的基准数据,并设计了基于 Transformer 的简单单幅图像除雨算法,通过自注意力和跨层注意力实现图像和雨层的辨别特征表示。大量实验证明了所提出数据集和除雨方法在最新研究中的优越性。
Aug, 2023
该论文综述了过去十年单张图像去雨的多种方法,分类总结了基于模型和基于数据驱动两种类型的方法,总结了雨的外观模型、性能比较和技术特点,并探讨了未来发展方向。
Dec, 2019
本文提出了一种双向特征嵌入网络,用于非均匀伪影下的去雨图像质量评估,实验结果表明,该方法明显优于现有的普适盲图像质量评估模型,为寻找视觉上首选的去雨算法提供了帮助,并公开发布了所创建的去雨质量评估数据库和 B-FEN 源代码。
Sep, 2019
本文介绍了我们团队在 CVPR 2023 UG$^{2}$+ Track 3 GT-Rain Challenge 中的解决方案,提出了一种高效的两阶段框架,利用低秩视频去雨方法生成伪 GT,再加以改进,使用大规模真实雨数据集进行预训练并在伪 GT 上进行微调,最终采用全面的图像处理器模块,我们的整体框架设计精心并能够处理在测试阶段提供的重雨和雾气序列。在平均结构相似性 (SSIM) 上获得第一名,在平均峰值信噪比 (PSNR) 上获得第二名。
May, 2023
本研究提出一个半自动的方法来生成高质量的干净图像,并构建了一个大规模的数据集,以更好地模拟现实情况下的雨条带效应。新的 SPatial Attentive Network(SPANet)以本地到全局的方式移除雨条带,并取得了与现有去雨技术相当的优异性能。
Apr, 2019
提出了一种新的降雨去除方法,通过替换低质量特征的潜在高质量特征和引入闭环反馈精神解决模型误差和特征嵌入问题,实验结果表明该方法在基准数据集和真实数据集上优于现有的最新方法。
Jan, 2021
本文构建了 UHD-Snow 和 UHD-Rain 两个基准数据集,模拟了雨雪的物理过程,研究提出了一种考虑梯度和法线先验的 UHD 图像恢复解决方案,包括高分辨率空间的特征融合与重构分支以及低分辨率空间的先验特征交互分支。实验证明了该方法在 UHD 图像低光增强、去噪和除雨方面具有领先的性能。
Jun, 2024