ICCVOct, 2023

SC2GAN: 自校正相关 GAN 空间重新思考纠缠

PDF
TL;DR本研究探讨了生成对抗网络（GANs）中潜在空间的交错问题，并提出了一种新的框架 SC$^2$GAN 以实现解交错。通过重新投影原始潜在编码样本并根据高密度和低密度区域进行编辑方向的修正，利用原始的有意义方向和语义区域特定层插值原始潜在编码，生成罕见的属性组合的图像，然后将这些样本反转回原始潜在空间。我们将该框架应用于学习有意义潜在方向的现有方法，并展示了它在添加了少量低密度区域样本的情况下解交错属性的强大能力。
generative adversarial networkslatent spacespurious correlationsentanglementdisentanglement
发现论文，激发创造
  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • 生成对抗网络中的风格与内容分离

    该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN（SC-GAN），该算法可以让训练的生成敌对网络（GAN）以一种分离风格和内容的方式学习数据的表征。

    Nov, 2018

  • 通过实例感知潜空间搜索进行分离的面部属性编辑

    本文提出了一种新的框架 (IALS)，它利用来自一组对输入图像评估的属性分类器的监督来注入实例信息，通过执行实例感知潜空间搜索来找到解耦属性编辑的语义方向，并提出了一种 “DT” 度量来量化属性转换和解耦功效，并基于它找到属性级和实例级方向之间的最优控制因子。

    May, 2021

  • 探索基于梯度的 GAN 多方向控制

    该论文提出了一种基于梯度信息的新方法，探索生成对抗网络 (latent space) 中的非线性控制，实现了多方向控制和有效解缠，这使得 GANs 的可控生成问题得到了解决。

    Sep, 2022

  • ExFaceGAN: 探索 GAN 的学习潜空间中的身份方向，用于合成身份生成

    ExFaceGAN 提出了一种在预先训练的 GAN 潜空间中解缠身份信息的框架，使得可以生成任何合成身份的多个样本，而生成图像的变异性不仅限于特定属性。更进一步，本文证明了使用 ExFaceGAN 生成的数据可以成功地用于训练面部识别模型。

    Jul, 2023

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • InterFaceGAN：解读 GAN 学习的分解人脸表示

    本文介绍了一种名为 InterFaceGAN 的框架，通过解析状态最先进的 GAN 模型学习的分离面部表示，并研究在潜在空间中编码的面部语义属性特性，可以实现面部属性的真实操作而不必重新训练模型，并且可以更准确地控制特征操作。

    May, 2020

  • 生成对抗网络的 Stein 潜变量优化

    本文介绍了一种命名为 SLOGAN 的新方法，通过引入编码网络和无监督条件对比损失来确保单个混合分量生成的数据代表单个属性，成功地学习了平衡或不平衡的属性，并在缺少属性信息（例如不平衡比）的情况下实现最新的无监督条件生成性能。

    Jun, 2021