通过属性特定提示学习实现高效的三维感知人脸图像编辑

Jun, 2024

通过属性特定提示学习实现高效的三维感知人脸图像编辑

Efficient 3D-Aware Facial Image Editing via Attribute-Specific Prompt Learning

Amandeep Kumar, Muhammad Awais, Sanath Narayan, Hisham Cholakkal, Salman Khan...

TL;DR提出了一种基于属性特定的提示学习的高效、即插即用的三维感知人脸编辑框架，该框架利用可学习的样式令牌和样式映射器，通过预先训练的视觉语言模型在任何预先训练的三维感知生成对抗网络的潜在空间中找到以文本为导向的属性特定编辑方向，并将其转化为三维潜在空间。通过多个三维感知的身份和姿势保持损失，保证了视角一致性和身份保持。实验证明，该方法能够生成具有三维感知和视角一致性的高质量图像，同时保持属性特定的特征。

Abstract

Drawing upon StyleGAN's expressivity and disentangled latent space, existing 2D approaches employ textual prompting to edit facial images with different attributes. In contrast, 3D-aware approaches that generate faces at different target poses require attribute-specific classifiers, learning separate model weights for each attribute, and are not scalable for

3d-aware face editing attribute-specific prompt learning latent attribute editor learnable style tokens view consistency and identity preservation

发现论文，激发创造

多种面部属性的保持身份编辑：学习全局编辑方向和局部调整

通过使用 StyleGANs 的潜在空间和提出的方法进行面部图像编辑，我们介绍了一种名为 ID-Style 的新架构，可以解决在属性处理过程中面临的身份丢失问题。ID-Style 的关键组件包括可学习的全局方向（LGD），为每个属性找到共享和半稀疏的方向，以及实例感知强度预测器（IAIP）网络，根据输入实例对全局方向进行微调。尽管与类似的最先进作品相比，网络尺寸减小了约 95％，但其在身份保持度量（FRS）和操作平均准确度（mACC）分别优于基线 10％和 7％。

Sep, 2023

潜空间中拥有所有：StyleGAN 隐空间探索实现属性编辑和样式操作

FLAME 是一种使用少量监督来进行操纵编辑方向的简单而有效的框架，可通过操纵潜在空间来实现高度可控的图像编辑。同时，还提出了属性样式操作的新任务，以生成具有不同属性样式的多样化图像。

Jul, 2022

通过实例感知潜空间搜索进行分离的面部属性编辑

本文提出了一种新的框架 (IALS)，它利用来自一组对输入图像评估的属性分类器的监督来注入实例信息，通过执行实例感知潜空间搜索来找到解耦属性编辑的语义方向，并提出了一种 “DT” 度量来量化属性转换和解耦功效，并基于它找到属性级和实例级方向之间的最优控制因子。

May, 2021

带有掩码 GAN 潜码优化的高分辨率人脸编辑

本文提出了一种基于局部属性编辑的新方法 MaskFaceGAN，采用最先进的生成对抗网络（StyleGAN2）的潜在编码进行优化，通过不同 iable 的属性分类器和面部解析器执行多个约束条件，实现对人脸图像的局部面部属性进行编辑，达到了极高的图像质量，在 1024x1024 的高分辨率下进行编辑，而且相对于现有的竞争性解决方案，其属性交错问题更少。

Mar, 2021

PREIM3D: 从单张图像实现一致精确的 3D 图像属性编辑

本文研究了 3D 感知图像属性编辑问题，提出了一种多视图身份损失和交替训练方案的方法来维持 3D 一致性和主体身份，使用 GAN 模型的反演流形进行编辑，比以前的工作更准确地编辑图像并生成了更具 3D 一致性的图像。

Apr, 2023

AttGAN: 仅修改您想修改的部分的面部属性编辑

本研究旨在改变面部图像的一个或多个属性，并保持其他细节，使用生成敌对网络（GAN）和编码器 - 解码器架构来确保高质量的面部特征编辑。

Nov, 2017

缓解属性编辑对人脸识别的影响

通过使用基于深度图和辅助语义分割掩模的 ControlNet 的无正则方法进行精细的局部属性编辑和基于自定义损失和正则化设置的基于正则方法进行粗糙的全局属性编辑，本研究对利用最新的生成模型改变的二十六种面部语义、人口统计和表情属性进行了实证消融，并在 CelebA、CelebAMaskHQ 和 LFW 数据集上使用 ArcFace 和 AdaFace 匹配器进行了评估，最终使用 LLaVA 验证了我们的编辑技术，方法在保留身份的情况下，在面部编辑方面优于现有技术（BLIP、InstantID）。

Mar, 2024

面部图像和视频的解缩聚变换器

本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

Jun, 2021

半潜变分生成对抗网络：通过属性学习生成和修改人脸图像

本文提出使用 Semi-Latent Facial Attribute Space (SL-FAS) 和 SL-GAN 模型学习人脸图像生成和修改，通过实验验证了该模型的有效性，并提出迭代训练算法。

Apr, 2017

文本和图像帮助下的 3D 头像创造与操作

该论文介绍了一种基于文本或图像的提示（如 “年轻的脸” 或 “惊讶的脸”）来操纵三维生成模型中形态和纹理的方法，利用了对比语言图像预训练模型（CLIP）和预训练的生成人脸的三维 GAN 模型创建了一个完全可微的渲染管道来操作网格。

Feb, 2022