Jan, 2022

哪种风格让我更有魅力？基于可解释控制发现的StyleGAN因果解释

HTML
PDF
TL;DR本文在使用StyleGAN2生成人脸的场景下提出了一种新方法，通过利用现有人脸分析模型（例如人脸解析器和人脸关键点检测器），对潜在子空间的语义进行解缠，并且提供了在此过程中的丰富潜在空间控制，同时提出了一种新的透视法来解释CNN分类器的行为，能够帮助揭示分类器所学习到的语义是否合理。
发现论文，激发创造
  • 基于GAN的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为InterFaceGAN的新框架,用于解释GAN学习到的语义面部编辑,并深入研究不同语义如何编码在GAN的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明GAN具有生成高保真图像的能力。

    Jul, 2019

  • GAN潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • InterFaceGAN：解读GAN学习的分解人脸表示

    本文介绍了一种名为InterFaceGAN的框架，通过解析状态最先进的GAN模型学习的分离面部表示，并研究在潜在空间中编码的面部语义属性特性，可以实现面部属性的真实操作而不必重新训练模型，并且可以更准确地控制特征操作。

    May, 2020

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的“样式空间”控制本地翻译的可能性。提出了一种名为“ Style Intervention”的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • StyleSpace分析：StyleGAN图像生成的解耦控制

    通过对预先训练在多个数据集上的模型进行分析，本文探讨和分析了StyleGAN2的潜在样式空间，发现StyleSpace的通道式样式参数空间显著比前人的其他中间潜变空间更具解开性，提出了一种通过StyleSpace控制实现更好的视觉属性解开性的方法，最终展示了应用StyleSpace控制实现对真实图像的操作，为通过简单而直观的接口实现具有语义意义的、良好解开的图像操作铺平了道路。

    Nov, 2020

  • 线性编码面部语义的无监督解缠

    本文介绍了一种无需外部监督即可将线性编码的面部语义从StyleGAN中分离的方法，并结合稳定的三维可变形面部重建方法将单视图GAN生成物分解为多个语义。同时，我们还展示了沿着分离表示进行引导外推可以帮助进行数据增强，并提供了对我们学习到的面部表示的分析。

    Mar, 2021

  • 基于神经ODE的潜在变换应用于GAN图像编辑

    本文研究在生成模型中，利用非线性的神经 ODE 来处理非纹理变化因素，挖掘潜在编码空间中的更多属性，并对大量具有已知属性的数据集进行实证研究。

    Nov, 2021

  • 基于潜在语义解缠的高分辨率人脸交换

    本文提出一种基于 GAN 模型的高分辨率人脸交换方法，通过显式地将潜在空间的语义进行分离，并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息，进而获得丰富的生成特征。通过加入空间-时间约束，将这种方法进一步扩展到视频人脸交换，并在实验证明，该方法在幻觉质量和连续性方面优于现有方法。

    Mar, 2022

  • 训练的潜在空间导航：在基于样式的模型生成的图像中预防缺乏逼真感

    本文介绍了一种简单的无监督方法，用于提供训练良好的局部潜在子空间，使得通过潜在编码的导航能够保持生成图像的真实感。实验证明，在局部潜在子空间内生成的图像能够在潜在编码反复调整的情况下保持真实感，并且这种方法对各种类型的基于风格的模型中的潜在编码优化都具有应用潜力。

    Oct, 2023