CVPRJun, 2021

Styleformer: 基于 Transformer 的带有风格向量的生成对抗网络

PDF
TL;DR提出了 Styleformer，这是一种基于 transformer 的 GAN 生成器，其结构不依赖于卷积操作，并修改了现有的 transformer 结构，使其生成高质量的图像，可以在 CIFAR-10 和 LSUN-church 等数据集上实现可比较的性能，并在 STL-10 和 CelebA 上实现了新的最先进水平。
gantransformerstylegan2image generationconvolution-free
发现论文，激发创造
  • 生成对抗变换器

    该研究介绍了 GANformer—— 一种高效的 transformer 类型，探索其在视觉生成建模任务中的应用。它通过双分图结构实现图像间的长距离相互作用，并保持线性计算效率，能够轻松扩展到高分辨率综合，并展示了 State-of-the-art 的图像质量和样本多样性，同时具备快速学习和更好的数据效率。

    Mar, 2021

  • StyleSwin：基于 Transformer 的 GAN 用于高分辨率图像生成

    本文研究探索类似于 pure transformers 的 GAN 架构来进行高分辨率图像合成，并提出了基于 Swin transformer 和本地化的 Local Attention 的 StyleSwin 生成器。在高分辨率合成过程中，采用双重注意力机制来改善生成质量、有效地抑制块状伪影，并证明了 transformers 在高分辨率图像生成方面的可用性。

    Dec, 2021

  • SwinStyleformer 是图像反转的理想选择

    SwinStyleformer 是首个纯 Transformer 结构反演网络，通过处理长程依赖和学习对象的全局结构来弥补 CNN 反演框架的不足。我们将 Swin Transformer 作为 SwinStyleformer 的骨干，并设计了基于可学习查询的 Transformer 块、多尺度连接以及反演鉴别器和分布对齐损失，从而成功解决了 Transformer 的反演失败问题，并在图像反演和相关视觉任务中展示了 SOTA 性能。

    Jun, 2024

  • 图像倒置和编辑的风格变换器

    本文介绍了一种基于 Transformer 的图像逆转和编辑模型，用于预先训练过的 StyleGAN，通过 CNN 编码器在多个尺度上提供图像特征作为键和值，并将样式代码视为查询，以在生成器中反转输入。无论是在逆转还是编辑任务中，该方法在 StyleGAN 上都取得了更好的性能表现。

    Mar, 2022

  • TransGAN：用两个纯 Transformer 构建强大的 GAN，并且可以不断拓展规模

    该论文通过引入基于 transformers 的新型结构 TransGAN, 从而实现在图像生成任务中不使用卷积神经网络，其中，使用 grid self-attention 模块来缓解内存瓶颈，并通过数据扩增、修正归一化和相对位置编码等一系列技术缓解了训练不稳定问题。该模型在高分辨率图像生成上取得了极具竞争力的表现，并且在 STL-10 数据集上创造了 10.43 的 Inception Score 和 18.28 的 FID 值。

    Feb, 2021

  • 场景生成的组合变形器

    GANformer2 采用显式和强有力的结构先验，通过一个序列式的过程合成图像，在多个数据集上成功表现出了最先进的性能，该模型从初始草图到最终的高清晰度图像，提供了图像产生的深入洞察。

    Nov, 2021

  • Visformer：基于 Transformer 的视觉友好型模型

    通过将 Transformer 模型逐步转化为基于卷积的模型，进行经验证实验表明，命名为 Visformer 的新架构比 Transformer 模型和卷积模型在 ImageNet 分类准确性方面表现更佳，尤其是当模型复杂度较低或者训练集较小时。

    Apr, 2021

  • StyTr$^2$: 使用 Transformer 进行图像风格转移

    提出了一种基于 transformer 的 StyTr$^2$ 方法，用于实现图像风格转移的长程依赖，介绍了一种适用于该任务的内容感知的位置编码（CAPE），并通过定量实验表明其效果优于现有的基于 CNN 和流计算的方法。

    May, 2021

  • 半监督视觉 Transformer

    本文研究了视觉 Transformer 在半监督图像分类中的训练方法，通过引入一个联合半监督学习框架 Semiformer，实现了有标记数据与无标记数据的知识共享，从而取得了 ImageNet 数据集上 75.5% 的 top-1 准确率，成为同类方法中最具优势的方法之一。

    Nov, 2021

  • 用 Transformer 和对比学习重新思考任意风格转换

    本研究提出了一种创新技术，通过样式一致的实例归一化和基于实例的对比学习方法来改进生成的艺术风格图片的质量，引入感知编码器来捕获样式特征，实验证明该方法生成了高质量的艺术风格图片并有效地避免了伪影。

    Apr, 2024