Nov, 2020

StyleSpace 分析：StyleGAN 图像生成的解耦控制

PDF
TL;DR通过对预先训练在多个数据集上的模型进行分析，本文探讨和分析了 StyleGAN2 的潜在样式空间，发现 StyleSpace 的通道式样式参数空间显著比前人的其他中间潜变空间更具解开性，提出了一种通过 StyleSpace 控制实现更好的视觉属性解开性的方法，最终展示了应用 StyleSpace 控制实现对真实图像的操作，为通过简单而直观的接口实现具有语义意义的、良好解开的图像操作铺平了道路。
stylegan2latent style spacedisentangledvisual attributeimage manipulations
发现论文，激发创造
  • 哪种风格让我更有魅力？基于可解释控制发现的 StyleGAN 因果解释

    本文在使用 StyleGAN2 生成人脸的场景下提出了一种新方法，通过利用现有人脸分析模型（例如人脸解析器和人脸关键点检测器），对潜在子空间的语义进行解缠，并且提供了在此过程中的丰富潜在空间控制，同时提出了一种新的透视法来解释 CNN 分类器的行为，能够帮助揭示分类器所学习到的语义是否合理。

    Jan, 2022

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 潜空间中拥有所有：StyleGAN 隐空间探索实现属性编辑和样式操作

    FLAME 是一种使用少量监督来进行操纵编辑方向的简单而有效的框架，可通过操纵潜在空间来实现高度可控的图像编辑。同时，还提出了属性样式操作的新任务，以生成具有不同属性样式的多样化图像。

    Jul, 2022

  • StyleGAN 架构、方法与应用的最新技术

    本文介绍了 GANs 和 StyleGAN，讨论了其在图像合成和潜在空间方面的应用和研究趋势，强调了其生成图像编码的潜力和限制，以及视觉先验的构建和使用，同时指出了任务和目标特定的研究方向。

    Feb, 2022

  • StyleGAN 中用于细粒度图像操纵的特定属性控制单元

    本研究提出了使用属性特定的控制单元来处理精细化的 StyleGAN 图像操作的方法，并针对人脸属性操作等任务进行了实证研究，结果表明该方法在实现精细操作方面表现出色。

    Nov, 2021

  • StyleFlow：基于属性条件的条件连续正则化流的 StyleGAN 生成图像探索

    通过在 GAN 的 latent space 中引入条件属性特征，作者提出了 StyleFlow 来实现运用属性控制生成样本和实现编辑的两个子问题， 并在实际应用中验证了 StyleFlow 的有效性和优越性。

    Aug, 2020

  • 训练一个 GAN 在 StyleSpace 中解释分类器

    利用 StylEx 的生成模型，从 StyleGAN 的 StyleSpace 中选择解释性特征来为图像分类模型提供图像特定的解释和可视化。

    Apr, 2021

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • 探索基于梯度的 GAN 多方向控制

    该论文提出了一种基于梯度信息的新方法，探索生成对抗网络 (latent space) 中的非线性控制，实现了多方向控制和有效解缠，这使得 GANs 的可控生成问题得到了解决。

    Sep, 2022