ICCVAug, 2023

稀疏采样变换器在去雨滴和雨痕统一消除中的应用

PDF
TL;DR提出了一种基于不确定性驱动排序的稀疏采样变换器，称为 UDR-S2Former，用于学习和建模全局图像退化关系，从而实现复杂雨天场景的统一去雨。与先前方法相比，UDR-S2Former 具有三个优点：可自适应地采样相关图像退化信息以建模底层退化关系；明确应用基于不确定性驱动的排序策略有助于网络关注退化特征并理解重建过程；实验结果表明，UDR-S2Former 在所有基准测试中明显优于现有方法。
image degradationsrain streaksraindropssparse sampling transformeruncertainty-driven ranking
发现论文，激发创造
  • 一种用于 GT-RAIN 挑战赛 CVPR 2023 Workshop UG$^{extbf {2}}$+ Track 3 的两阶段真实图像去雨方法

    本文介绍了我们团队在 CVPR 2023 UG$^{2}$+ Track 3 GT-Rain Challenge 中的解决方案，提出了一种高效的两阶段框架，利用低秩视频去雨方法生成伪 GT，再加以改进，使用大规模真实雨数据集进行预训练并在伪 GT 上进行微调，最终采用全面的图像处理器模块，我们的整体框架设计精心并能够处理在测试阶段提供的重雨和雾气序列。在平均结构相似性 (SSIM) 上获得第一名，在平均峰值信噪比 (PSNR) 上获得第二名。

    May, 2023

  • 双向多尺度隐式神经表示的图像去雨

    为了有效地探索雨纹的多尺度表示，我们提出了一种端到端的多尺度 Transformer，利用各种尺度上的潜在有用特征来促进高质量的图像重建，并结合空间变化的雨纹的内部尺度隐式神经表示，在复杂场景中提高模型的鲁棒性；通过粗到细和细到粗的信息传递，嵌入一种简单而有效的尺度间双向反馈操作，以确保更丰富的协同表示；广泛的实验证明，我们的方法 NeRD-Rain 在合成和实际世界基准数据集上表现优异。

    Apr, 2024

  • 分割引导稀疏变换器用于底层显示摄像头图像修复

    在本文中，我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时，全局注意机制会采样大量冗余信息和噪音。基于此发现，我们提出了一种基于分割引导的稀疏 Transformer 方法（SGSFormer），用于从 UDC 受损图像中恢复高质量图像。具体而言，我们利用稀疏自注意力过滤冗余信息和噪音，引导模型的注意力集中在需要重建的受损区域上。此外，我们还集成了实例分割图作为先验信息，以指导稀疏自注意力在过滤和关注正确区域方面的工作。

    Mar, 2024

  • 具有空间注意力机制的高清真实雨数据集单图像去雨方法

    本研究提出一个半自动的方法来生成高质量的干净图像，并构建了一个大规模的数据集，以更好地模拟现实情况下的雨条带效应。新的 SPatial Attentive Network（SPANet）以本地到全局的方式移除雨条带，并取得了与现有去雨技术相当的优异性能。

    Apr, 2019

  • 单幅图像去雨的潜在退化表示约束

    通过引入方向感知编码器（DAEncoder）、UNet 去雨网络和多尺度交互块（MSIBlock），该论文提出一种新颖的潜在退化表示约束网络（LDRCNet），用于自适应地提取潜在的退化表示、显式约束退化表示学习，并通过信息交互实现各种复杂雨滴模式的去除和图像细节的重构，实验结果表明我们的方法达到了最新的最优性能。

    Sep, 2023

  • 在线更新的高阶协作网络用于单图像去雨

    本文提出了一种高阶协同网络，其中包括多尺度紧凑约束和双向尺度内容相似度挖掘模块，有助于实现去雨滴效果的提高，并通过自我监督学习方法来提高模型性能。

    Feb, 2022

  • 学习稀疏 Transformer 网络以有效降雨图像

    本论文提出了一种名为 Sparse Transformer (DRSformer) 的去雨神经网络，它可以自适应地保留最有用的自注意力值以更好地促进高质量图像重建，并发展了一种有效的混合尺度前馈网络来为图像去雨生成更好的特征。

    Mar, 2023

  • SDNet：使用 Swin 的多分支单图像去雨方法

    本研究提出了一种使用 Swin-transformer 模型实现去雨任务的基本模块改进方法，并设计了一个三分支模型，并提出了一个新的数据集 Rain3000 来验证模型的性能和效果，实验结果表明，该方法在公开数据集 Rain100L，Rain100H 和 Rain3000 上具有先进的性能和较快的推理速度。

    May, 2021

  • 针对雨雪天气去除的有效高效 Transformer

    RSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)

    Apr, 2023

  • 使用尺度感知多阶段循环网络进行单张图像去雨处理

    通过引入规模感知的多阶段卷积神经网络和并行子网络的概念，本文旨在解决在不同大小和方向的雨滴覆盖下，雨液、散射和透射造成的遮挡和降低对比度等问题，该方法在合成和实际图像上的实验显示，在雨滴去除方面具有创新性，并优于现有技术。

    Dec, 2017