May, 2021

DeepFaceEditing: 利用分离的几何和外表控制实现人脸的深度生成和编辑

PDF
TL;DRDeepFaceEditing 是一种针对面部图像的结构解缠框架，旨在支持面部生成和编辑，具有几何和外表的解缠控制能力。该方法采用了局部到全局的方法，将面部组件图像分解为几何和外貌表示，并使用全局融合模块进行一致融合，以提高生成质量，并利用草图辅助提取更好的几何表示，同时也支持通过草图进行直观的几何编辑。该方法相较于最先进的方法表现出更优秀的细节和外观控制能力。
facial image synthesisconditional generative modelsdisentanglementgeometryappearance
发现论文，激发创造
  • Sketch2Human：具有解耦几何和外观控制的深度人体生成

    这项工作提出了 Sketch2Human，这是第一个通过语义草图（用于几何控制）和参考图像（用于外观控制）引导的可控全身人体图像生成系统。

    Apr, 2024

  • DisControlFace: 个性化面部图像编辑的分离控制

    我们的研究侧重于探索生成性面部图像编辑中明确的细粒度控制，同时生成忠实和一致的个性化面部外貌。我们确定了这项任务的关键挑战是在生成过程中对解缠条件控制的探索，并相应地提出了一种新的基于扩散的框架，称为 DisControlFace，包括两个解耦的组件。

    Dec, 2023

  • 神经元人脸编辑与内在图像分离

    提出了一种基于生成对抗网络的端到端面部编辑器，通过该编辑器，可推断出具有内在面部属性的面部特定分离表示，包括形状（即法线），反射率和照明，同时呈现出阿尔法或透明度。通过应用物理图像形成模块和适当的损失函数进行 “野外” 图像训练得到的分解潜在表示允许使用语义相关的编辑，在保持正交属性不变的同时操纵面部外貌的一个方面，在许多面部编辑应用中得到了展示。

    Apr, 2017

  • IDE-3D: 高分辨率三维感知人像综合的交互式分离式编辑

    本文提出了一个结合了低分辨率可编辑性和高质量的生成模型，是 3D-semantics-aware 方法的新途径，在视图一致、语义分离的面部图像方面具有状态 - of-the-art 的性能、忠实度和效率。

    May, 2022

  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 通过 3D 模拟对比学习实现解耦和可控的人脸图像生成

    通过对抗性学习和比较对生成的图像进行区分，利用控制潜在变量的方式实现虚拟人脸图像的生成

    Apr, 2020

  • 分离式人物图像生成

    本研究提出了一种基于二阶段重建管道的方法来生成真实但新颖的人物图像，该方法利用解耦表示学习各种图像因素，并同时生成新的人物图像，实验结果表明该方法不仅能够生成具有新前景、背景和姿态的逼真人物图像，还能用于人物再识别任务。

    Dec, 2017

  • 朝现实的生成三维人脸模型

    本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

    Apr, 2023

  • 用单目图像学习具有解缠几何和外观的 3D 生成模型

    本文提出了一种基于 3D 生成模型的非刚性可变形场景表达方法，通过联合学习规范模型及其变形，并使用姿态正则化损失来改善模型的场景与摄影视角的分离性，同时还可以嵌入真实图像中并进行编辑。

    Mar, 2022