May, 2023

GridFormer: 残差稠密格子结构变压器用于恶劣天气条件下的图像恢复

PDF
TL;DR本研究提出了一种基于 Transformer 的新型框架 GridFormer，该框架采用网格结构和残差密集 Transformer 块，引入了增强的注意力机制和残差密集 Transformer 块，可在艰难的天气条件下实现图像修复，并在五种不同的图像修复任务下实现了最先进的结果。
image restorationadverse weather conditionstransformer-based frameworkenhanced attention mechanismresidual dense transformer block
发现论文，激发创造
  • 针对雨雪天气去除的有效高效 Transformer

    RSFormer 是一种高效有力的 Transformer，专门用于消除受天气影响的图像中的雨迹和雪花，它通过将 ConvNets 和 Vision Transformers 在分层结构中的接近度结合起来，利用替代自注意力机制的 Transformer-like 卷积块 (TCB) 以适应输入内容，并提出了全局 - 本地自注意力采样机制 (GLASM)

    Apr, 2023

  • GridFormer：点网格变换器用于表面重建

    通过在正规网格特征和离散点特征之间引入高效的点 - 网格变换机制，以及采用边界优化策略，本文提出的方法有效地提升了三维表面重建的精度和准确性。

    Jan, 2024

  • TransWeather：基于 Transformer 的逆天气图像恢复

    本研究提出了一种基于 Transformer 的端到端模型 TransWeather，只使用一个编码器和一个解码器，可以有效去除任何天气条件下的图像失真，其在多个测试数据集上均取得了比 All-in-One 方法和 Fine-tuned 方法更好的效果，并在现实世界的测试图像上进行了验证。

    Nov, 2021

  • 深入探索区域信息：基于变换器的单幅图像去雨方法

    我们提出了一种名为 Regformer 的新型 SID 方法，强调在高质量图像重建中独立处理受雨影响和不受影响区域以及考虑它们的联合影响的重要性，通过创新的 Region Transformer Block (RTB) 来实现。实验结果表明，该模型达到了最先进的性能，显著提高了图像去雨质量。

    Feb, 2024

  • Restormer: 高分辨率图像修复的高效 Transformer 模型

    本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。

    Nov, 2021

  • WaveletFormerNet：基于 Transformer 的用于真实世界非均质和密集雾去除的小波网络

    本文提出了一种基于 Transformer 和小波的网络 (WaveletFormerNet) 用于现实世界中的雾图像恢复，它通过将离散小波变换嵌入到 Vision Transformer 中来缓解由于降采样导致的图像质量损失和颜色失真，同时引入了并行卷积和特征聚合模块以提高模型的性能和泛化能力。实验结果表明，WaveletFormerNet 在雾图像恢复和计算机视觉应用中具有比现有方法更好的效果。

    Jan, 2024

  • Gabor 引导的变换器用于单图像去雨

    通过引入 Gabor 滤波器，利用 Gabor 引导转换器（Gabformer）来增强局部纹理特征的聚焦，改善模型对噪声的鲁棒性，并在基准测试中表现优于最先进的方法。

    Mar, 2024

  • 大规模预训练模型在恶劣天气去除中的应用探索

    本文提出了一种基于空间特征表示学习和语义信息嵌入的方法，通过 CLIP 等大规模预训练模型来提高图像恢复在各种噪声天气条件下的表现，并且实验结果表明该方法达到了最先进的性能水平。

    Jun, 2023

  • RealFormer: 喜欢残差注意力的 Transformer

    提出了一种名为 RealFormer 的技术，可以创建残差注意力层的 Transformer 网络，并在许多任务上显著优于标准 Transformer 及其变体。该技术不仅稳定了训练，而且还可以导致具有更少注意力的模型，并提供了预训练检查点。

    Dec, 2020

  • 基于块降噪扩散模型的恶劣天气条件下视觉恢复

    基于概率模型的图像修复算法，通过引导去噪过程来实现任意尺寸的图像修复。该算法在图像去雪、去雨和去雾等数据集上表现出了领先的性能，并且在实际测试图像方面具有很强的泛化性能。

    Jul, 2022