May, 2023

一种用于 GT-RAIN 挑战赛 CVPR 2023 Workshop UG$^{extbf {2}}$+ Track 3 的两阶段真实图像去雨方法

PDF
TL;DR本文介绍了我们团队在 CVPR 2023 UG$^{2}$+ Track 3 GT-Rain Challenge 中的解决方案，提出了一种高效的两阶段框架，利用低秩视频去雨方法生成伪 GT，再加以改进，使用大规模真实雨数据集进行预训练并在伪 GT 上进行微调，最终采用全面的图像处理器模块，我们的整体框架设计精心并能够处理在测试阶段提供的重雨和雾气序列。在平均结构相似性 (SSIM) 上获得第一名，在平均峰值信噪比 (PSNR) 上获得第二名。
rainy image restorationlow-rank video derainingtransformer-based image derainingimage processorcomputer vision
发现论文，激发创造
  • GT-Rain 单图像去雨挑战报告

    这篇报告回顾了 CVPR 2023 UG2+ 研讨会上单张图像去雨 GT-Rain 挑战的结果，目标是研究真实场景中的雨天现象，提供一个新颖的真实世界雨景图像数据集，并激发创新思路，推动单张图像去雨方法在真实图像上的发展。

    Mar, 2024

  • 从天空到地面：一个大规模基准和简单基线方法用于真实雨滴去除

    为了克服缺乏大规模高质量配对训练样本对真实图像除雨（RID）过程的阻碍，本研究构建了包含 3000 个视频序列和 100 万帧高分辨率（1920*1080）图像配对数据的大规模高质量真实雨数据集（LHP-Rain）。该数据集的优势有三个方面：具有更高多样性和更大规模的雨，高分辨率和高质量的合成图像。此外，研究提出了一种新颖的鲁棒低秩张量恢复模型用于生成更好地分离静态背景和动态雨的基准数据，并设计了基于 Transformer 的简单单幅图像除雨算法，通过自注意力和跨层注意力实现图像和雨层的辨别特征表示。大量实验证明了所提出数据集和除雨方法在最新研究中的优越性。

    Aug, 2023

  • 具有空间注意力机制的高清真实雨数据集单图像去雨方法

    本研究提出一个半自动的方法来生成高质量的干净图像，并构建了一个大规模的数据集，以更好地模拟现实情况下的雨条带效应。新的 SPatial Attentive Network（SPANet）以本地到全局的方式移除雨条带，并取得了与现有去雨技术相当的优异性能。

    Apr, 2019

  • 在线更新的高阶协作网络用于单图像去雨

    本文提出了一种高阶协同网络，其中包括多尺度紧凑约束和双向尺度内容相似度挖掘模块，有助于实现去雨滴效果的提高，并通过自我监督学习方法来提高模型性能。

    Feb, 2022

  • 重度雨天气图像修复：物理模型与条件对抗式学习的整合

    本篇论文提出了一种基于物理学原理和 2 阶段网络的深度引导 GAN 精细处理方法，可以有效处理暴雨图像修复过程中出现的雨丝、雨滴遮挡和图像模糊等问题，并通过对真实雨天数据进行测试和评估，证明该方法在图像修复和细节保护方面优于其他现有的方法。

    Apr, 2019

  • Restormer-Plus 用于实际图像去雨：GT-RAIN 挑战赛的最新解决方案（CVPR 2023 UG$^2$+ 赛道 3）

    Restormer-Plus 是一种先进的图像处理方法，包含了四个模块：单张图像去雨模块、中值滤波模块、加权平均模块、后处理模块，可用于提高图像亮度和去除雨水等任务。该方法已在 GT-RAIN Challenge 中获得最高峰值信噪比（PSNR）表现，在图像处理领域值得进一步研究。

    May, 2023

  • 通向通用快速视频去雨的知识蒸馏

    通过知识蒸馏，我们提出了一种基于 Rain Review 的通用视频除雨网络（称为 RRGNet），它可以处理不同的雨线类型，并具备最佳的运行速度和除雨效果。

    Aug, 2023

  • 无监督自监督约束下的单张图像去雨

    该研究利用自监督限制所提出的无监督去雨生成对抗网络 (UD-GAN) 解决了单幅图像去雨中标注 - 监督约束缺失等问题并在多种基准测试集和不同训练设置下表现出卓越的去雨效果。

    Nov, 2018

  • 一种适用于 WeatherProof 挑战赛 CVPR 2024 Workshop UG2 + 的两阶段恶劣天气语义分割方法

    我们团队利用两阶段深度学习框架，在恶劣天气条件下的语义分割任务中通过预处理数据、生成高保真度地面真值，以及应用 InternImage 网络等方法，成功获得了 0.43 的平均交并比（mIoU）竞赛得分，在竞赛中获得了第四名的可观成绩。

    Jun, 2024

  • 带动态雨发生器的半监督视频去雨

    本文提出了一种新的半监督视频去雨方法，其中采用动态雨生成器来适应雨层，以更好地描绘其深刻的特征。该方法具有良好的性能，并可同时编码雨渍的物理结构和时间连续性变化，通过设计不同的先验格式，充分利用标记合成和未标记真实数据之间的共同知识，使用蒙特卡罗 EM 算法进行求解。

    Mar, 2021