CVPRJun, 2024

细节决定成败：适用于细节丰富的 StyleGAN 反向和高质量图像编辑的 StyleFeatureEditor

PDF
TL;DR通过 StyleGAN 反演技术，我们介绍了一种名为 StyleFeatureEditor 的新方法，可以在 w-latents 和 F-latents 两个潜变量空间中进行编辑，实现了对细节的精确重建和修改。与现有的编码方法相比，我们的模型在重建质量上表现优秀，并能够处理具有挑战性的领域外示例。
stylegan inversionlatent variableseditingreconstructionf-latents
发现论文，激发创造
  • 使用 StyleGAN 对图像编辑进行残差变形

    提出一种新颖的图像反转架构，该架构提取高速率的潜在特征，并包含流估计模块来对这些特征进行编辑。实验证明，该方法在图像输入的逼真度和编辑质量上都取得了显著的改善。

    Dec, 2023

  • 基于潜空间视角的 StyleGAN 倒推用于图像编辑

    通过对比学习实现 GAN 逆变换，提高基础潜空间中的表达能力，为重建保真度和可编辑性带来最先进的结果。

    Nov, 2022

  • 基于特征风格编码器的风格生成对抗网络反演

    本文提出了一种新型的 GAN 反演架构，称为特征 - 风格编码器，其风格编码器对于操纵获得的潜在代码至关重要，而特征编码器对于优化图像重建至关重要，该模型能够比现有方法更准确地反演实际图像，获得更好的感知质量和更低的重建误差。并且，我们还演示了该编码器在视频反演和编辑方面特别适用。通过对多个基于风格的生成器进行广泛的实验，我们的方法显著优于竞争方法，达到了基于风格的 GAN 反演的最新成果。

    Feb, 2022

  • 重新审视 GAN 反演的潜空间用于真实图像编辑

    通过将 StyleGANs 的超球面先验 Z 与潜空间结合起来，我们提出了 F/Z + 空间，其中 F 空间用于重建图像而 Z + 空间支持高质量的编辑，通过在 Z + 空间中移动实现语义编辑而不损失图像质量。

    Jul, 2023

  • 为 StyleGAN 图像操作设计编码器

    本文研究 StyleGAN 的潜在空间，提出了两个设计编码器的原则，以平衡畸变 - 可操作性和畸变 - 知觉的权衡，从而为真实图片的编辑提供了更好的方法。

    Feb, 2021

  • HyperStyle: 采用 HyperNetworks 实现的 StyleGAN 反演技术用于真实图像编辑

    本文提出了 HyperStyle 方法，它利用 hypernetwork 对 StyleGAN 网络进行加权调整，从而可以将一幅图像忠实地表达为 latent space 中可调整的部分，使得该方法可以用于实现像素到像素的图像编辑工作，并且在编辑出不同于训练过的图像时，也能取得较好的效果。

    Nov, 2021

  • 图像倒置和编辑的风格变换器

    本文介绍了一种基于 Transformer 的图像逆转和编辑模型，用于预先训练过的 StyleGAN，通过 CNN 编码器在多个尺度上提供图像特征作为键和值，并将样式代码视为查询，以在生成器中反转输入。无论是在逆转还是编辑任务中，该方法在 StyleGAN 上都取得了更好的性能表现。

    Mar, 2022

  • 利用 StyleGAN 先验潜空间平衡 GAN 反演的重建和编辑质量，用于真实图像编辑

    本研究通过将 StyleGANs 的超球形先验 Z 和 Z + 集成到 GAn 反演方法中，实现了不牺牲图像质量的语义编辑，并用实验证明 Z + 能取代最常用的 W、W + 和 S 空间，同时保持重建质量，减少图像畸变。

    May, 2023

  • 稳健的 GAN 倒置

    通过在本身潜在空间中调节生成器网络来恢复缺失的图像细节，我们的方法在重建质量和计算效率方面优于传统方法，具有更低的失真和 4 倍少的参数数量。

    Aug, 2023

  • HyperInverter: 通过超网络改进 StyleGAN 逆向

    本研究提供了一种基于编码器和超网络的方法以实现高重构质量、可编辑性和快速推理的 GAN 反演，并在两个具有挑战性的数据集上进行了广泛的实验以证明其优越性。

    Dec, 2021