Aug, 2021

SwinIR：使用 Swin Transformer 进行图像恢复

PDF
TL;DR本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。
发现论文，激发创造
  • Swin2SR：用于压缩图像超分辨率与恢复的 SwinV2 Transformer

    本文采用 Swin Transformer V2 来改善图像超分辨率问题，特别是针对压缩输入情况，通过实验验证 Swin2SR 方法能显著提高 SwinIR 的性能。

    Sep, 2022

  • SwinFIR：通过快速傅里叶卷积和改进的训练重新审视 SwinIR 并用于图像超分辨率

    本文介绍了一种基于 Transformer 的方法，用于图像恢复，提出了一种名为 SwinFIR 的扩展方法，旨在提高捕捉全局信息的效率，同时改进了数据增强、预训练、特征集成等高级技术，使模型的性能得到显着提高，并在多个大型基准测试上取得了最先进的性能。

    Aug, 2022

  • 基于 SNR-Aware Swin Transformer 的无监督低光图像增强技术

    本文提出了一种基于 Swin Transformer 的双分支网络，以信噪比先验图为指导，利用无监督学习构建优化目标，实现低光图像增强，并在实验中取得竞争性的结果。

    Jun, 2023

  • Swin Transformer 用于快速磁共振成像

    采用 Swin transformer 以及 multi-channel loss 的方式用于快速 MRI 重建，在进行了多个比较和消融实验以及对多模态脑肿瘤分割的实践后，得出了良好的重建效果。

    Jan, 2022

  • HST: 基于层次化 Swin Transformer 的压缩图像超分辨率方法

    本论文通过采用分层 S 在变压器网络以及预训练超分辨率任务获得的特征表示，提出了一种新的压缩图像超分辨率（Compressed Image Super-Resolution，CISR）模型 HST，并且通过与不同的预训练任务（如双三次插值和真实超分辨率模拟）合作，并在 AIM2022 挑战赛中取得了排名第五的优异结果，具有 23.51dB 的 PSNR，在所进行的大规模实验和剪枝研究中也验证了 HST 模型的有效性。

    Aug, 2022

  • SinIR：高效的单图像重建通用图像编辑技术

    SinIR 是一种高效的基于重建的框架，仅在单个自然图像上进行训练，可用于超分辨率、编辑、协调，绘图到图像、照片逼真的样式转移和艺术风格转移等各种图像操作，该框架采用级联多尺度学习的方式进行训练，具有比 GAN 目标更简单的低重建目标，通过量化评估表明，SinIR 在各种图像操作任务上具有竞争性能，同时与 SinGAN 相比（对于 500 X 500 像素的图像），SinIR 训练速度快 33.5 倍，我们的代码在 github.com/YooJiHyeong/SinIR 上公开。

    Jun, 2021

  • SwinFuSR：一种受图像融合启发的 RGB 引导的热成像超分辨率模型

    基于 Swin transformers 的引导型 SR 架构 SwinFuSR，通过从高分辨率可见光图像提取信息，实现了对低分辨率红外图像的增强重建。

    Apr, 2024

  • SwinFSR: 使用 SwinIR 和频域知识的立体图像超分辨率

    通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块，我们提出了一种名为 SwinFSR 的 Stereo Image Super-Resolution 方法，并且实验结果表明了该方法的有效性和高效性。

    Apr, 2023

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • DIAR：基于 Swin Transformers 的深度图像对齐与重建

    利用深度学习管道，同时对一系列畸变图像进行对齐和重构，并通过 Swin Transformer 模型分析顺序图像数据，通过注意力图检测相关图像内容并与离群值和伪影区分开来，利用神经特征图作为经典关键点检测器的替代方法，从而提供稠密图像描述符以寻找图像间的点对应关系，并运用此来计算粗略的图像对齐并探索其局限性。

    Oct, 2023