Feb, 2022

FEAT: 带有注意力机制的人脸编辑

PDF
TL;DR本文介绍了一种基于 StyleGAN 生成器和学习到的注意力图的方法，通过在编辑图像时使用注意力图作为掩蔽层，同时使用 CLIP 算法来引导潜空间的编辑，实现对面部局部区域的控制性编辑。实验结果表明，与其他替代方法相比，我们的方法可以实现非常可控的面部区域编辑，具有更好的性能。
gan-based face manipulationlatent space disentanglementstylegan generatorattention mapsclip
发现论文，激发创造
  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 文本和图像帮助下的 3D 头像创造与操作

    该论文介绍了一种基于文本或图像的提示（如 “年轻的脸” 或 “惊讶的脸”）来操纵三维生成模型中形态和纹理的方法，利用了对比语言图像预训练模型（CLIP）和预训练的生成人脸的三维 GAN 模型创建了一个完全可微的渲染管道来操作网格。

    Feb, 2022

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 带有掩码 GAN 潜码优化的高分辨率人脸编辑

    本文提出了一种基于局部属性编辑的新方法 MaskFaceGAN，采用最先进的生成对抗网络（StyleGAN2）的潜在编码进行优化，通过不同 iable 的属性分类器和面部解析器执行多个约束条件，实现对人脸图像的局部面部属性进行编辑，达到了极高的图像质量，在 1024x1024 的高分辨率下进行编辑，而且相对于现有的竞争性解决方案，其属性交错问题更少。

    Mar, 2021

  • ChatFace: 通过扩散潜空间操作实现聊天引导的真实人脸编辑

    提出了基于扩散模型的文本驱动实际面部图像编辑方法，并通过 ChatFace 交互式系统实现了精确的零样本和多属性操纵。

    May, 2023

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • 潜空间中拥有所有：StyleGAN 隐空间探索实现属性编辑和样式操作

    FLAME 是一种使用少量监督来进行操纵编辑方向的简单而有效的框架，可通过操纵潜在空间来实现高度可控的图像编辑。同时，还提出了属性样式操作的新任务，以生成具有不同属性样式的多样化图像。

    Jul, 2022

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 通过 CLIP 实现反事实图像处理

    通过 Contrastive-Language-Image- Pretraining (CLIP) 进行对抗操作，利用预定义的 CLIP 空间方向指导编辑，并将文本嵌入显式地转换为潜在空间，以实现准确的编码和编辑。

    Jul, 2022

  • 关于数字人脸篡改的检测

    利用注意机制改善学习到的特征图，提高二分类（真实脸或伪造脸）的准确性和可视化处理后的伪造部位，通过大规模数据库的实验，证明了注意机制在人脸伪造检测和定位的有效性。

    Oct, 2019