CVPRJul, 2022

Latents2Segments：分离生成模型的潜在空间，用于面部图像的语义分割

PDF
TL;DR本研究通过将 facial semantic ROIs 的语义划分和潜在的 Generative Autoencoder 模型相结合，实现了对面部图像语义细分的优化后任务，并在 CelebAMask-HQ 和 HELEN 数据集上展示了它比当前最先进的 works 具有更好的性能表现。
augmented realityvirtual realityfacial segmentationgenerative autoencodersemantic roi disentanglement
发现论文，激发创造
  • 潜空间应用于人脸图像局部风格操作的 Latents2Semantics

    利用 Latents2Semantics 自编码器模型实现人脸图像中具有高度局部化编辑风格属性的 ROI 的结构保持风格编辑，并避免了传统风格编辑流程中需要额外的人为监督的问题。

    Dec, 2023

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 基于潜在语义解缠的高分辨率人脸交换

    本文提出一种基于 GAN 模型的高分辨率人脸交换方法，通过显式地将潜在空间的语义进行分离，并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息，进而获得丰富的生成特征。通过加入空间 - 时间约束，将这种方法进一步扩展到视频人脸交换，并在实验证明，该方法在幻觉质量和连续性方面优于现有方法。

    Mar, 2022

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 无监督利用三维感知潜在扩散模型对面部特征进行解耦

    本文提出了一种新颖的无监督解缠面部表情和身份表示的框架 ——LatentFace，并使用 3D 感知的潜入模型来解决这一问题。该方法在面部表情识别和面部验证等无监督面部表示学习模型中取得了最先进的性能。

    Sep, 2023

  • FEAT: 带有注意力机制的人脸编辑

    本文介绍了一种基于 StyleGAN 生成器和学习到的注意力图的方法，通过在编辑图像时使用注意力图作为掩蔽层，同时使用 CLIP 算法来引导潜空间的编辑，实现对面部局部区域的控制性编辑。实验结果表明，与其他替代方法相比，我们的方法可以实现非常可控的面部区域编辑，具有更好的性能。

    Feb, 2022

  • 生成模型中外观和视角的明确分离

    通过一个双重潜在空间信息的生成模型，我们利用空间变换器和变分自动编码器构成了一种具有归纳偏差的 Variationally Inferred Transformational Autoencoder (VITAE) 方法用于实现解缠表示的学习，实验结果表明，我们的模型在 MNIST 图像上有效区分了数字类型和视觉风格，对于 CelebA 数据集，能够将人脸外形和姿态以及面部特征与面部形状分开。

    Jun, 2019

  • 通过实例感知潜空间搜索进行分离的面部属性编辑

    本文提出了一种新的框架 (IALS)，它利用来自一组对输入图像评估的属性分类器的监督来注入实例信息，通过执行实例感知潜空间搜索来找到解耦属性编辑的语义方向，并提出了一种 “DT” 度量来量化属性转换和解耦功效，并基于它找到属性级和实例级方向之间的最优控制因子。

    May, 2021