Jan, 2022

哪种风格让我更有魅力？基于可解释控制发现的 StyleGAN 因果解释

PDF
TL;DR本文在使用 StyleGAN2 生成人脸的场景下提出了一种新方法，通过利用现有人脸分析模型（例如人脸解析器和人脸关键点检测器），对潜在子空间的语义进行解缠，并且提供了在此过程中的丰富潜在空间控制，同时提出了一种新的透视法来解释 CNN 分类器的行为，能够帮助揭示分类器所学习到的语义是否合理。
semantic latent subspacedisentanglementface generationface analysis modelsinterpretable controls
发现论文，激发创造
  • StyleSpace 分析：StyleGAN 图像生成的解耦控制

    通过对预先训练在多个数据集上的模型进行分析，本文探讨和分析了 StyleGAN2 的潜在样式空间，发现 StyleSpace 的通道式样式参数空间显著比前人的其他中间潜变空间更具解开性，提出了一种通过 StyleSpace 控制实现更好的视觉属性解开性的方法，最终展示了应用 StyleSpace 控制实现对真实图像的操作，为通过简单而直观的接口实现具有语义意义的、良好解开的图像操作铺平了道路。

    Nov, 2020

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • InterFaceGAN：解读 GAN 学习的分解人脸表示

    本文介绍了一种名为 InterFaceGAN 的框架，通过解析状态最先进的 GAN 模型学习的分离面部表示，并研究在潜在空间中编码的面部语义属性特性，可以实现面部属性的真实操作而不必重新训练模型，并且可以更准确地控制特征操作。

    May, 2020

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

    通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。

    Dec, 2021

  • GAN-Control: 明确可控的 GANs

    我们提出了一个具有明确控制 GAN 生成的图像的框架，借助于对抗性训练（GANs）、明确控制的潜在空间以及对人类的符号解释模型进行了对生成图像的控制，可扩展到人类脸谱以外的领域，实现了身份、年龄、姿态、表情、头发色彩和光照方面的控制，并且在画像和狗图像生成的领域中都展示了控制能力，同时表现出优良的定量和定性性能。

    Jan, 2021