Apr, 2023

针对雨雪天气去除的有效高效 Transformer

PDF
TL;DRRSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)
rain-by-snowtransformerconvnetsvision transformersrestoration
发现论文，激发创造
  • GridFormer: 残差稠密格子结构变压器用于恶劣天气条件下的图像恢复

    本研究提出了一种基于 Transformer 的新型框架 GridFormer，该框架采用网格结构和残差密集 Transformer 块，引入了增强的注意力机制和残差密集 Transformer 块，可在艰难的天气条件下实现图像修复，并在五种不同的图像修复任务下实现了最先进的结果。

    May, 2023

  • SDNet：使用 Swin 的多分支单图像去雨方法

    本研究提出了一种使用 Swin-transformer 模型实现去雨任务的基本模块改进方法，并设计了一个三分支模型，并提出了一个新的数据集 Rain3000 来验证模型的性能和效果，实验结果表明，该方法在公开数据集 Rain100L，Rain100H 和 Rain3000 上具有先进的性能和较快的推理速度。

    May, 2021

  • TransWeather：基于 Transformer 的逆天气图像恢复

    本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

    Nov, 2021

  • 深入探索区域信息：基于变换器的单幅图像去雨方法

    我们提出了一种名为 Regformer 的新型 SID 方法，强调在高质量图像重建中独立处理受雨影响和不受影响区域以及考虑它们的联合影响的重要性，通过创新的 Region Transformer Block (RTB) 来实现。实验结果表明，该模型达到了最先进的性能，显著提高了图像去雨质量。

    Feb, 2024

  • Restormer: 高分辨率图像修复的高效 Transformer 模型

    本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。

    Nov, 2021

  • 多尺度双通道变换器用于高质量图像去雨

    本研究提出了一种有效的雨水去除方法，即双路径多尺度转换器（DPMformer），通过利用丰富的多尺度信息来实现高质量图像重建。实验证明，与其他最先进的方法相比，我们的方法表现出色。

    May, 2024

  • Gabor 引导的变换器用于单图像去雨

    通过引入 Gabor 滤波器，利用 Gabor 引导转换器（Gabformer）来增强局部纹理特征的聚焦，改善模型对噪声的鲁棒性，并在基准测试中表现优于最先进的方法。

    Mar, 2024

  • 图像超分辨率变换：基于 ConvFormer 的高效方法

    通过引入 Convolutional Transformer 层（ConvFormer）和基于 ConvFormer 的超分辨率网络（CFSR），提出了一种有效且高效的轻量级图像超分辨率任务解决方案，通过使用大卷积核卷积作为特征混合器替代自注意模块，实现了较长范围依赖关系和广泛接受域的建模，同时在计算成本稍微增加的情况下保留了更多高频信息，并且相对于现有的轻量级 SR 方法在计算成本和性能之间取得了先进的平衡。

    Jan, 2024

  • 频率增强状态空间模型图像去雨

    该研究引入了状态空间模型（SSM）到雨滴去除中，并提出了一种去除雨滴方法，名为 Deraining Frequency-Enhanced State Space Model（DFSSM）。在该方法中，我们使用了频域处理方法和 SSM 来有效去除产生高强度频率成分的雨滴痕迹，并开发了一种新颖的混合尺度门控卷积块来捕捉不同尺度的退化并控制信息流的传递。最后，实验结果表明，我们的方法胜过现有的最新方法。

    May, 2024

  • WaveletFormerNet：基于 Transformer 的用于真实世界非均质和密集雾去除的小波网络

    本文提出了一种基于 Transformer 和小波的网络 (WaveletFormerNet) 用于现实世界中的雾图像恢复，它通过将离散小波变换嵌入到 Vision Transformer 中来缓解由于降采样导致的图像质量损失和颜色失真，同时引入了并行卷积和特征聚合模块以提高模型的性能和泛化能力。实验结果表明，WaveletFormerNet 在雾图像恢复和计算机视觉应用中具有比现有方法更好的效果。

    Jan, 2024