CVPRDec, 2021

StyleSwin：基于 Transformer 的 GAN 用于高分辨率图像生成

PDF
TL;DR本文研究探索类似于 pure transformers 的 GAN 架构来进行高分辨率图像合成，并提出了基于 Swin transformer 和本地化的 Local Attention 的 StyleSwin 生成器。在高分辨率合成过程中，采用双重注意力机制来改善生成质量、有效地抑制块状伪影，并证明了 transformers 在高分辨率图像生成方面的可用性。
transformersgenerative adversarial networkhigh-resolution image synthesislocal attentionstyleswin
发现论文，激发创造
  • SwinStyleformer 是图像反转的理想选择

    SwinStyleformer 是首个纯 Transformer 结构反演网络，通过处理长程依赖和学习对象的全局结构来弥补 CNN 反演框架的不足。我们将 Swin Transformer 作为 SwinStyleformer 的骨干，并设计了基于可学习查询的 Transformer 块、多尺度连接以及反演鉴别器和分布对齐损失，从而成功解决了 Transformer 的反演失败问题，并在图像反演和相关视觉任务中展示了 SOTA 性能。

    Jun, 2024

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • SRTransGAN：基于 Transformer 的生成对抗网络的图像超分辨率

    提出了一种基于 Transformer 的生成对抗网络（SRTransGAN）来进行图像超分辨率，通过使用编码器 - 解码器网络生成 2x 图像和 4x 图像，使用视觉 Transformer 设计判别器网络来对合成和真实高分辨率图像进行二分类，通过分析显著性地图来了解所提方法的学习能力，SRTransGAN 方法在 PSNR 和 SSIM 评分的平均值上优于现有方法 4.38%。

    Dec, 2023

  • Styleformer: 基于 Transformer 的带有风格向量的生成对抗网络

    提出了 Styleformer，这是一种基于 transformer 的 GAN 生成器，其结构不依赖于卷积操作，并修改了现有的 transformer 结构，使其生成高质量的图像，可以在 CIFAR-10 和 LSUN-church 等数据集上实现可比较的性能，并在 STL-10 和 CelebA 上实现了新的最先进水平。

    Jun, 2021

  • TransGAN：用两个纯 Transformer 构建强大的 GAN，并且可以不断拓展规模

    该论文通过引入基于 transformers 的新型结构 TransGAN, 从而实现在图像生成任务中不使用卷积神经网络，其中，使用 grid self-attention 模块来缓解内存瓶颈，并通过数据扩增、修正归一化和相对位置编码等一系列技术缓解了训练不稳定问题。该模型在高分辨率图像生成上取得了极具竞争力的表现，并且在 STL-10 数据集上创造了 10.43 的 Inception Score 和 18.28 的 FID 值。

    Feb, 2021

  • 基于 SNR-Aware Swin Transformer 的无监督低光图像增强技术

    本文提出了一种基于 Swin Transformer 的双分支网络，以信噪比先验图为指导，利用无监督学习构建优化目标，实现低光图像增强，并在实验中取得竞争性的结果。

    Jun, 2023

  • SwinFIR：通过快速傅里叶卷积和改进的训练重新审视 SwinIR 并用于图像超分辨率

    本文介绍了一种基于 Transformer 的方法，用于图像恢复，提出了一种名为 SwinFIR 的扩展方法，旨在提高捕捉全局信息的效率，同时改进了数据增强、预训练、特征集成等高级技术，使模型的性能得到显着提高，并在多个大型基准测试上取得了最先进的性能。

    Aug, 2022

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • Swin Transformer V2：扩大容量和分辨率

    本文旨在探索大规模计算机视觉模型，并提出了三项技术来解决训练过程中的不稳定性、预训练和微调之间的分辨率差异以及对标记数据的需求量问题，成功训练了一个规模为 30 亿参数的 Swin Transformer V2 模型，在多项计算机视觉任务上取得了最佳性能表现，且训练效率远高于谷歌的类似模型。

    Nov, 2021