CVPRNov, 2021

Restormer: 高分辨率图像修复的高效 Transformer 模型

PDF
TL;DR本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型，通过几个关键设计，使其能够捕捉长距离像素交互，同时仍适用于大图像，在图像去噪、去模糊和降雨方面达到了最先进的效果。
convolutional neural networkstransformersimage restorationrestoration transformerstate-of-the-art results
发现论文，激发创造
  • Restorer: 使用一组参数解决多个图像恢复任务

    通过 Transformer 网络 Restorer，我们设计了一种综合有效的解决方案，能够在去雨、去雪、去雾、去模糊等多种图像修复任务中展现国际领先或可比较的性能，并且在推理时速度更快。

    Jun, 2024

  • Uformer: 一种通用的 U 形变形器 用于图像修复

    本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构，在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器，Uformer 具有高效捕获局部和全局图像依赖性的能力，可用于多种图像恢复任务，并在实验证明与最先进的算法相比具有卓越的性能。

    Jun, 2021

  • ResT: 用于视觉识别的高效 Transformer

    本文提出了一种高效的多尺度视觉 Transformer 模型，名为 ResT，可作为图像识别的通用骨干。它通过一些优势来应对传统 Transformer 模型在应对分辨率固定的原始图像中存在的缺陷， 特别是建立了一种内存高效的多头自注意力机制、一种空间关注的位置编码方法，并将贴片嵌入设计为一系列重叠卷积运算，最终提高了大量原始图像识别和下游任务的性能。

    May, 2021

  • 基于 CNN 和 Transformer 的全功能图像修复

    本研究提出了一种基于数据要素导向的方法，通过利用基于提示的学习来实现单模型高效处理多种图像退化任务，结合卷积神经网络和 Transformer 模块的属性对高质量图像修复进行建模，并引入特征融合机制来改善聚合特征，所得到的 CAPTNet 架构能够处理不同类型的退化情况，在大量实验证明与专门的算法相比具有竞争性的表现。

    Sep, 2023

  • T-former：一种高效的图像修复变形器

    本文中，我们设计了一种新的基于注意力的线性结构，称为 T-former，用于图像修复，实验表明该方法在保持较低的参数数量和计算复杂度的同时，实现了最先进的精度。

    May, 2023

  • Restormer-Plus 用于实际图像去雨：GT-RAIN 挑战赛的最新解决方案（CVPR 2023 UG$^2$+ 赛道 3）

    Restormer-Plus 是一种先进的图像处理方法，包含了四个模块：单张图像去雨模块、中值滤波模块、加权平均模块、后处理模块，可用于提高图像亮度和去除雨水等任务。该方法已在 GT-RAIN Challenge 中获得最高峰值信噪比（PSNR）表现，在图像处理领域值得进一步研究。

    May, 2023

  • 关于图像恢复任务中 Transformer 的不合理脆弱性及其简单修复方法

    通过对图像修复任务中的 Vision Transformers（ViTs）进行实验，发现其在对抗性攻击方面的性能较差，通过对 Restormer 等模型进行对抗性训练可以提高鲁棒性。

    Jul, 2023

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • 一种用于无监督可变形图像配准的轻量级残差网络

    使用改进的卷积神经网络进行体积图像配准，提供增强的感受野，减少参数并在受限的训练数据集上取得与基于 Transformer 方法相当甚至稍好的性能。

    Jun, 2024

  • 驯服 Transformer 的高分辨率图像合成

    结合卷积神经网络与 transformers 模型的特点，实现了生成高分辨率图像的任务，并取得了 ImageNet 中类别有条件下的自回归模型的最优结果

    Dec, 2020