Jun, 2024

SwinStyleformer 是图像反转的理想选择

PDF
TL;DRSwinStyleformer 是首个纯 Transformer 结构反演网络，通过处理长程依赖和学习对象的全局结构来弥补 CNN 反演框架的不足。我们将 Swin Transformer 作为 SwinStyleformer 的骨干，并设计了基于可学习查询的 Transformer 块、多尺度连接以及反演鉴别器和分布对齐损失，从而成功解决了 Transformer 的反演失败问题，并在图像反演和相关视觉任务中展示了 SOTA 性能。
swinstyleformertransformerinversion networkcnnsimage inversion
发现论文，激发创造
  • 图像倒置和编辑的风格变换器

    本文介绍了一种基于 Transformer 的图像逆转和编辑模型，用于预先训练过的 StyleGAN，通过 CNN 编码器在多个尺度上提供图像特征作为键和值，并将样式代码视为查询，以在生成器中反转输入。无论是在逆转还是编辑任务中，该方法在 StyleGAN 上都取得了更好的性能表现。

    Mar, 2022

  • StyleSwin：基于 Transformer 的 GAN 用于高分辨率图像生成

    本文研究探索类似于 pure transformers 的 GAN 架构来进行高分辨率图像合成，并提出了基于 Swin transformer 和本地化的 Local Attention 的 StyleSwin 生成器。在高分辨率合成过程中，采用双重注意力机制来改善生成质量、有效地抑制块状伪影，并证明了 transformers 在高分辨率图像生成方面的可用性。

    Dec, 2021

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • ScaleFormer: 从尺度角度重新审视基于 Transformer 的骨干网路，应用于医学图像分割

    提出一种基于 ScaleFormer 的新型骨干网络，其中包含针对各个尺度的内部转换器，以在每个尺度上提取局部 - 全局提示，并设计了空间感知的跨尺度变换器，以相互作用多个尺度的共识区域，从而突出跨度依赖性并解决复杂的尺度变化。

    Jul, 2022

  • HyperInverter: 通过超网络改进 StyleGAN 逆向

    本研究提供了一种基于编码器和超网络的方法以实现高重构质量、可编辑性和快速推理的 GAN 反演，并在两个具有挑战性的数据集上进行了广泛的实验以证明其优越性。

    Dec, 2021

  • Styleformer: 基于 Transformer 的带有风格向量的生成对抗网络

    提出了 Styleformer，这是一种基于 transformer 的 GAN 生成器，其结构不依赖于卷积操作，并修改了现有的 transformer 结构，使其生成高质量的图像，可以在 CIFAR-10 和 LSUN-church 等数据集上实现可比较的性能，并在 STL-10 和 CelebA 上实现了新的最先进水平。

    Jun, 2021

  • StylePrompter：所有风格需要的只是注意力

    对给定图像进行 GAN 反演，将其转化为相应的潜在代码，尤其是针对具有解耦潜在空间的 StyleGAN，从而实现基于属性的图像操作。

    Jul, 2023

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • E2Style：提高 StyleGAN 反演的效率和效果

    该研究针对 StyleGAN 反演问题，提出了一种效率和效果均有显著提升的前向网络 E2Style，通过浅层 backbone、多头设计，多阶段细化等方式，结合了基于优化与前向方法的优点。实验结果表明 E2Style 在效率和结果质量上较现有前向方法有较大优势，并且在保持前向方法高效的同时达到了和基于优化方法同等性能。

    Apr, 2021

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021