主客观去雨质量评估:面向真实雨图像
本研究提出一个半自动的方法来生成高质量的干净图像,并构建了一个大规模的数据集,以更好地模拟现实情况下的雨条带效应。新的 SPatial Attentive Network(SPANet)以本地到全局的方式移除雨条带,并取得了与现有去雨技术相当的优异性能。
Apr, 2019
本文针对单幅图像去雨算法进行了全面的研究和评估,建立了一个大规模的数据集作为对比基准,其中包括从合成图像到真实世界的雨天图像等多种数据来源和图像内容,并将其分为雨纹、雨滴、雨和雾三个子集,每个子集分别服务于不同的训练或评估目的。我们还提供了多种评估标准,从全参考度量到零参考度量,到主观评估和新颖的任务驱动评估。在数据集上的实验揭示了现有单幅图像去雨算法之间的差异和局限性,并提出了有前途的未来方向。
Mar, 2019
该研究论文系统回顾了现有的图像去雨方法,并提供了统一的评估设置以评估其性能,同时构建了一个高质量的基准和一个在线平台,以便进行大规模性能评估。
Oct, 2023
使用 Blender 模拟雨滴形状,收集不同无人机角度的背景图像,随机采样雨滴遮罩等构建了一个新的用于去除无人机图像中雨滴的基准数据集 UAV-Rain1k,并在此基准数据集上全面评估了现有的代表性图像去雨算法,并公布了值得进一步研究的未来研究机会。
Feb, 2024
为了克服缺乏大规模高质量配对训练样本对真实图像除雨(RID)过程的阻碍,本研究构建了包含 3000 个视频序列和 100 万帧高分辨率(1920*1080)图像配对数据的大规模高质量真实雨数据集(LHP-Rain)。该数据集的优势有三个方面:具有更高多样性和更大规模的雨,高分辨率和高质量的合成图像。此外,研究提出了一种新颖的鲁棒低秩张量恢复模型用于生成更好地分离静态背景和动态雨的基准数据,并设计了基于 Transformer 的简单单幅图像除雨算法,通过自注意力和跨层注意力实现图像和雨层的辨别特征表示。大量实验证明了所提出数据集和除雨方法在最新研究中的优越性。
Aug, 2023
本文针对强降雨情况下图像和视频的降雨除去问题进行了深入研究,发现深度学习技术的降雨去除方法更容易受到针对性的对抗攻击,因此本文综合比较了不同深度学习算法在人类感知和机器分析任务下的降雨去除效果及其对于对抗攻击的鲁棒性。除此之外,本文还结合审核结果构建了一种更加鲁棒的降雨除去技术,同时还对各类面向降雨除去问题的对抗攻击及其对于人类和机器视觉任务的影响进行了分析,并提供了可供使用的代码。
Mar, 2022
本文介绍 $L^{2} RIRNet$ 神经网络,旨在实现同时处理低光和降雨的任务,此外还提出了两个有效工具 —— 快速傅里叶 - ResNet 的细节引导模块和低光 - 雨图像合成与真实数据集。
May, 2023
本研究提出了一种改进在有附着雨滴和条纹影响的图像分割任务的方法,通过引入新颖的立体数据集并以此进行噪声降低生成器的训练,最终有效去除真实的水滴所产生的影响,并在道路标记分割和语义分割等任务中展现出显著的提高。
Jan, 2019
本文介绍了我们团队在 CVPR 2023 UG$^{2}$+ Track 3 GT-Rain Challenge 中的解决方案,提出了一种高效的两阶段框架,利用低秩视频去雨方法生成伪 GT,再加以改进,使用大规模真实雨数据集进行预训练并在伪 GT 上进行微调,最终采用全面的图像处理器模块,我们的整体框架设计精心并能够处理在测试阶段提供的重雨和雾气序列。在平均结构相似性 (SSIM) 上获得第一名,在平均峰值信噪比 (PSNR) 上获得第二名。
May, 2023