通过实例感知潜空间搜索进行分离的面部属性编辑
通过使用 StyleGANs 的潜在空间和提出的方法进行面部图像编辑,我们介绍了一种名为 ID-Style 的新架构,可以解决在属性处理过程中面临的身份丢失问题。ID-Style 的关键组件包括可学习的全局方向(LGD),为每个属性找到共享和半稀疏的方向,以及实例感知强度预测器(IAIP)网络,根据输入实例对全局方向进行微调。尽管与类似的最先进作品相比,网络尺寸减小了约 95%,但其在身份保持度量(FRS)和操作平均准确度(mACC)分别优于基线 10%和 7%。
Sep, 2023
我们提出了一种自编码器方法,通过重新组织 StyleGAN 的潜空间,使我们希望编辑的每个属性对应于新潜空间的一个轴,同时确保潜空间轴之间的相关性降到最低,以促进属性解缠,通过实验证明了我们的方法在编辑能力上超越了竞争方法,同时在保持图像身份一致性方面与原始图像具有高度的准确性,我们的自编码器结构简单明了,易于实现。
Dec, 2023
本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性,通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份,并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。
Jun, 2021
本文提出了一个名为 InterFaceGAN 的新框架,用于解释 GAN 学习到的语义面部编辑,并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现,精心训练的生成模型的潜在编码实际上学习了一个分离的表示,在线性变换后解旋,通过子空间投影来解开某些绑定属性,实现更精确的面部特征控制,并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。
Jul, 2019
提出了一种基于属性特定的提示学习的高效、即插即用的三维感知人脸编辑框架,该框架利用可学习的样式令牌和样式映射器,通过预先训练的视觉语言模型在任何预先训练的三维感知生成对抗网络的潜在空间中找到以文本为导向的属性特定编辑方向,并将其转化为三维潜在空间。通过多个三维感知的身份和姿势保持损失,保证了视角一致性和身份保持。实验证明,该方法能够生成具有三维感知和视角一致性的高质量图像,同时保持属性特定的特征。
Jun, 2024
本文提供了一种使用预训练网络来学习数据的解缠表示的方法,以实现最小的监督,同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。
May, 2020
本文提出了 VecGAN 这样一个图像对图像的转换框架,它针对面部特征进行属性编辑,利用可解释的潜在方向解决精确属性编辑的挑战,并实现了对于其他图像属性的保全。该框架可以通过采样或项目编码从参考图像中获取标量值,整个模型通过端到端的训练,可以实现全局和局部修改,相较于现有技术取得了更好的效果。
Jul, 2022
本文提出使用 Semi-Latent Facial Attribute Space (SL-FAS) 和 SL-GAN 模型学习人脸图像生成和修改,通过实验验证了该模型的有效性,并提出迭代训练算法。
Apr, 2017
FLAME 是一种使用少量监督来进行操纵编辑方向的简单而有效的框架,可通过操纵潜在空间来实现高度可控的图像编辑。同时,还提出了属性样式操作的新任务,以生成具有不同属性样式的多样化图像。
Jul, 2022
本研究探讨了生成对抗网络(GANs)中潜在空间的交错问题,并提出了一种新的框架 SC$^2$GAN 以实现解交错。通过重新投影原始潜在编码样本并根据高密度和低密度区域进行编辑方向的修正,利用原始的有意义方向和语义区域特定层插值原始潜在编码,生成罕见的属性组合的图像,然后将这些样本反转回原始潜在空间。我们将该框架应用于学习有意义潜在方向的现有方法,并展示了它在添加了少量低密度区域样本的情况下解交错属性的强大能力。
Oct, 2023