CVPRJun, 2022

针对 GAN 反演和编辑的空间自适应多层选择

PDF
TL;DR本研究提出了一种新的方法，可以在 GAN 的潜在空间中反演和编辑具有复杂场景布局和物体遮挡的图像，采用分层集合反演的思路，通过预测图像不同部分的可反转性，并将每个部分投影到潜在层中，系统学习将相对容易的区域反演到生成器的较早潜在空间，而将较具挑战性的区域反演到后续的特征空间。该方法相对于现有方法，获取了更好的具有相对复杂类别的反演结果，同时仍保持下游可编辑性。
gansinversioneditingcomplex imagesstylegan2
发现论文，激发创造
  • 稳健的 GAN 倒置

    通过在本身潜在空间中调节生成器网络来恢复缺失的图像细节，我们的方法在重建质量和计算效率方面优于传统方法，具有更低的失真和 4 倍少的参数数量。

    Aug, 2023

  • GAN 反演的多样修复和编辑

    利用样式生成对抗网络（StyleGAN）的潜在空间，将真实图像反转并通过语义丰富的特征表示进行多项编辑，进一步扩展到将被擦除的图像反转到 GAN 的潜在空间中进行逼真修复和编辑的更为困难的任务，通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合，通过训练编码器和混合网络，利用生成的数据来鼓励混合网络同时利用两个输入，并利用高速特征来防止修复部分与未被擦除部分的颜色不一致，并通过与先进的反转和修复方法进行实验和对比，定量指标和视觉比较显示出显著的改进。

    Jul, 2023

  • 针对真实图像编辑的域内 GAN 反演

    本文提出了一种域内 GAN 反演方法，旨在通过一个新颖的领域引导编码器将真实图像映射到 GAN 的本机潜在空间中，从而精确重构输入图像并同时确保倒置代码在语义域内，以便支持各种基于变化倒置代码的图像编辑任务。实验表明，我们的反演方法实现了令人满意的真实图像重建，同时大大提高了各种图像编辑任务的效率，并远远超过了当前领先的方法。

    Mar, 2020

  • 高保真 GAN 逆向生成及其 Padding 空间

    该研究提出了一种基于 padding space 的编码器结合 laten space 的方法，用于 GAN 的图像编辑任务，改善了空间细节的恢复质量，并实现了对图像更加灵活的编辑操作。

    Mar, 2022

  • 针对忠实重建和可编辑性的领域内 GAN 逆转

    通过在原始潜在空间中规范反转代码，本研究提出了领域指导编码器和领域正则化优化器，以满足对图像编辑应用的需求，实现了广泛的编辑功能。

    Sep, 2023

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • HyperInverter: 通过超网络改进 StyleGAN 逆向

    本研究提供了一种基于编码器和超网络的方法以实现高重构质量、可编辑性和快速推理的 GAN 反演，并在两个具有挑战性的数据集上进行了广泛的实验以证明其优越性。

    Dec, 2021

  • HyperStyle: 采用 HyperNetworks 实现的 StyleGAN 反演技术用于真实图像编辑

    本文提出了 HyperStyle 方法，它利用 hypernetwork 对 StyleGAN 网络进行加权调整，从而可以将一幅图像忠实地表达为 latent space 中可调整的部分，使得该方法可以用于实现像素到像素的图像编辑工作，并且在编辑出不同于训练过的图像时，也能取得较好的效果。

    Nov, 2021

  • 使用 StyleGAN 对图像编辑进行残差变形

    提出一种新颖的图像反转架构，该架构提取高速率的潜在特征，并包含流估计模块来对这些特征进行编辑。实验证明，该方法在图像输入的逼真度和编辑质量上都取得了显著的改善。

    Dec, 2023

  • 为 StyleGAN 图像操作设计编码器

    本文研究 StyleGAN 的潜在空间，提出了两个设计编码器的原则，以平衡畸变 - 可操作性和畸变 - 知觉的权衡，从而为真实图片的编辑提供了更好的方法。

    Feb, 2021