Feb, 2024

深入探索区域信息：基于变换器的单幅图像去雨方法

PDF
TL;DR我们提出了一种名为 Regformer 的新型 SID 方法，强调在高质量图像重建中独立处理受雨影响和不受影响区域以及考虑它们的联合影响的重要性，通过创新的 Region Transformer Block (RTB) 来实现。实验结果表明，该模型达到了最先进的性能，显著提高了图像去雨质量。
transformer-based single image derainingregion transformerlong-range interactionsrain-affected regionsunaffected regions
发现论文，激发创造
  • Gabor 引导的变换器用于单图像去雨

    通过引入 Gabor 滤波器，利用 Gabor 引导转换器（Gabformer）来增强局部纹理特征的聚焦，改善模型对噪声的鲁棒性，并在基准测试中表现优于最先进的方法。

    Mar, 2024

  • 针对雨雪天气去除的有效高效 Transformer

    RSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)

    Apr, 2023

  • GridFormer: 残差稠密格子结构变压器用于恶劣天气条件下的图像恢复

    本研究提出了一种基于 Transformer 的新型框架 GridFormer，该框架采用网格结构和残差密集 Transformer 块，引入了增强的注意力机制和残差密集 Transformer 块，可在艰难的天气条件下实现图像修复，并在五种不同的图像修复任务下实现了最先进的结果。

    May, 2023

  • 多尺度双通道变换器用于高质量图像去雨

    本研究提出了一种有效的雨水去除方法，即双路径多尺度转换器（DPMformer），通过利用丰富的多尺度信息来实现高质量图像重建。实验证明，与其他最先进的方法相比，我们的方法表现出色。

    May, 2024

  • 双向多尺度隐式神经表示的图像去雨

    为了有效地探索雨纹的多尺度表示，我们提出了一种端到端的多尺度 Transformer，利用各种尺度上的潜在有用特征来促进高质量的图像重建，并结合空间变化的雨纹的内部尺度隐式神经表示，在复杂场景中提高模型的鲁棒性；通过粗到细和细到粗的信息传递，嵌入一种简单而有效的尺度间双向反馈操作，以确保更丰富的协同表示；广泛的实验证明，我们的方法 NeRD-Rain 在合成和实际世界基准数据集上表现优异。

    Apr, 2024

  • 一种用于 GT-RAIN 挑战赛 CVPR 2023 Workshop UG$^{extbf {2}}$+ Track 3 的两阶段真实图像去雨方法

    本文介绍了我们团队在 CVPR 2023 UG$^{2}$+ Track 3 GT-Rain Challenge 中的解决方案，提出了一种高效的两阶段框架，利用低秩视频去雨方法生成伪 GT，再加以改进，使用大规模真实雨数据集进行预训练并在伪 GT 上进行微调，最终采用全面的图像处理器模块，我们的整体框架设计精心并能够处理在测试阶段提供的重雨和雾气序列。在平均结构相似性 (SSIM) 上获得第一名，在平均峰值信噪比 (PSNR) 上获得第二名。

    May, 2023

  • SDNet：使用 Swin 的多分支单图像去雨方法

    本研究提出了一种使用 Swin-transformer 模型实现去雨任务的基本模块改进方法，并设计了一个三分支模型，并提出了一个新的数据集 Rain3000 来验证模型的性能和效果，实验结果表明，该方法在公开数据集 Rain100L，Rain100H 和 Rain3000 上具有先进的性能和较快的推理速度。

    May, 2021

  • 用于单幅图像去雨的多尺度沙漏层级融合网络

    提出了一种多尺度 Hourglass 分层融合网络 (MH2F-Net)，通过多尺度提取、分层蒸馏和信息聚合来准确捕捉雨滴特征，采用残差投影特征融合策略逐步区分特征学习和聚合不同特征，与最新的去雨算法相比在合成和真实的数据集上展示了其有效性。

    Apr, 2021

  • MDeRainNet：大像素图像雨痕去除的高效神经网络

    我们提出了一种名为 MDeRainNet 的高效网络，用于去除光场图像中的雨线，该网络采用多尺度编码器 - 解码器架构，在 Macro-pixel 图像上直接进行操作以提高雨线去除性能，并且借助 Extended Spatial-Angular Interaction (ESAI) 模块来完全建模空间和角度信息之间的全局相关性，并引入半监督学习框架以改善网络在现实场景中的泛化性能。经过对合成和真实光场图像的广泛实验证明，我们的方法在定量和定性上均优于现有方法。

    Jun, 2024

  • 从天空到地面：一个大规模基准和简单基线方法用于真实雨滴去除

    为了克服缺乏大规模高质量配对训练样本对真实图像除雨（RID）过程的阻碍，本研究构建了包含 3000 个视频序列和 100 万帧高分辨率（1920*1080）图像配对数据的大规模高质量真实雨数据集（LHP-Rain）。该数据集的优势有三个方面：具有更高多样性和更大规模的雨，高分辨率和高质量的合成图像。此外，研究提出了一种新颖的鲁棒低秩张量恢复模型用于生成更好地分离静态背景和动态雨的基准数据，并设计了基于 Transformer 的简单单幅图像除雨算法，通过自注意力和跨层注意力实现图像和雨层的辨别特征表示。大量实验证明了所提出数据集和除雨方法在最新研究中的优越性。

    Aug, 2023