GT-Rain 单图像去雨挑战报告
本文介绍了我们团队在 CVPR 2023 UG$^{2}$+ Track 3 GT-Rain Challenge 中的解决方案,提出了一种高效的两阶段框架,利用低秩视频去雨方法生成伪 GT,再加以改进,使用大规模真实雨数据集进行预训练并在伪 GT 上进行微调,最终采用全面的图像处理器模块,我们的整体框架设计精心并能够处理在测试阶段提供的重雨和雾气序列。在平均结构相似性 (SSIM) 上获得第一名,在平均峰值信噪比 (PSNR) 上获得第二名。
May, 2023
本文针对单幅图像去雨算法进行了全面的研究和评估,建立了一个大规模的数据集作为对比基准,其中包括从合成图像到真实世界的雨天图像等多种数据来源和图像内容,并将其分为雨纹、雨滴、雨和雾三个子集,每个子集分别服务于不同的训练或评估目的。我们还提供了多种评估标准,从全参考度量到零参考度量,到主观评估和新颖的任务驱动评估。在数据集上的实验揭示了现有单幅图像去雨算法之间的差异和局限性,并提出了有前途的未来方向。
Mar, 2019
为了克服缺乏大规模高质量配对训练样本对真实图像除雨(RID)过程的阻碍,本研究构建了包含 3000 个视频序列和 100 万帧高分辨率(1920*1080)图像配对数据的大规模高质量真实雨数据集(LHP-Rain)。该数据集的优势有三个方面:具有更高多样性和更大规模的雨,高分辨率和高质量的合成图像。此外,研究提出了一种新颖的鲁棒低秩张量恢复模型用于生成更好地分离静态背景和动态雨的基准数据,并设计了基于 Transformer 的简单单幅图像除雨算法,通过自注意力和跨层注意力实现图像和雨层的辨别特征表示。大量实验证明了所提出数据集和除雨方法在最新研究中的优越性。
Aug, 2023
本研究提出一个半自动的方法来生成高质量的干净图像,并构建了一个大规模的数据集,以更好地模拟现实情况下的雨条带效应。新的 SPatial Attentive Network(SPANet)以本地到全局的方式移除雨条带,并取得了与现有去雨技术相当的优异性能。
Apr, 2019
本文探讨了自动驾驶中如何应对由光学传感器收集的噪声数据对自主决策产生的影响,并提出了一种用生成对抗网络产生虚拟雨天图像并训练降雨去噪模型的方法,但该方法还需进一步改进。
May, 2023
使用 Blender 模拟雨滴形状,收集不同无人机角度的背景图像,随机采样雨滴遮罩等构建了一个新的用于去除无人机图像中雨滴的基准数据集 UAV-Rain1k,并在此基准数据集上全面评估了现有的代表性图像去雨算法,并公布了值得进一步研究的未来研究机会。
Feb, 2024
本研究介绍了 RaidaR 一个富注释的雨天驾驶场景图像数据集,包含最大数量的雨天图片,同时提供语义分割和物体实例分割等注释,用于提高数据驱动的机器感知能力,并展示数据增强与分割算法中的实用性。同时提出了一种可节省注释时间的半自动化方案,并通过新颖的图像转换算法,实现了图像雨雾等不良元素的添加与消除。
Apr, 2021
该论文综述了过去十年单张图像去雨的多种方法,分类总结了基于模型和基于数据驱动两种类型的方法,总结了雨的外观模型、性能比较和技术特点,并探讨了未来发展方向。
Dec, 2019
本研究使用自我监督强化学习(RL)方法进行图像去雨,利用字典学习定位雨线像素并使用像素级 RL 代理逐步去除雨水。实验结果表明,该方法在几个基准图像去雨数据集上表现优于最先进的少样本学习和自我监督去雨和去噪方法。
Mar, 2024
通过构建一个基于生成对抗网络的多层级雨图生成模型,实现了在各种天气条件下测试视觉感知算法性能所需的数据生成,该模型能够生成不同强度的轻雨、中雨和大雨图像,并经过优化和调整来改善模式崩溃问题,相比于两个基准模型,测试数据集上 RCCycleGAN 的峰值信噪比 (PSNR) 提高了 2.58 dB 和 0.74 dB,结构相似性指数 (SSIM) 分别提高了 18% 和 8%,并进行了消融实验以验证模型调优的有效性。
Sep, 2023