Apr, 2021

使用三维引导进行跨领域和解耦人脸操作

PDF
TL;DR通过建立人类 3DMM 参数到预先训练好的 StyleGAN2 潜在空间嵌入的解缠映射并进行跨域适应，我们提出了第一种可以在任意域内操纵人脸的方法，以应对现有 3D 可塑模型核心的操纵方法不直接适用于非真实照片、漫画和动物等领域的问题。
face image manipulation3dmmout-of-domain faceslatent space embeddingsemantic manipulation
发现论文，激发创造
  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • MOST-GAN: 用于解耦脸部图像操作的 3D 可塑造风格 GAN

    MOST-GAN 使用 3D 形态模型耦合现代化 2D 变形网络实现面部图像生成、控制和逼真操作。

    Nov, 2021

  • 3DAvatarGAN: 搭建领域以获得可个性化编辑的头像

    本文提出了一种适应性框架，它能够使 3D-GAN 在艺术数据上训练，同时保持多视角的一致性和良好的纹理质量，通过优化方法对摄像机参数进行分布对齐，提出了纹理常规化技术，同时避免退化几何解，并展示了一种变形技术，使艺术领域的几何形态更加夸张，可以个性化的进行几何编辑，最终实现了在艺术数据集上生成、编辑和动画化个性化的 3D 角色。

    Jan, 2023

  • 3D-FM GAN: 面部三维可控制变化

    提出了一种新的 3D 可控脸部操作方法：3D-FM GAN，通过将输入脸部图像和 3D 编辑的真实渲染相结合，可以提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。

    Aug, 2022

  • 一个用于多域图像翻译和操作的统一的特征解缠器

    本研究提出了一种新型的深度学习框架，能够从多个领域的数据中学习到不变的表示，通过对抗性训练和利用特定领域信息的能力，实现持续的跨领域图像转换和操纵，并相应地产生期望的输出图像。此外，所得到的特征表示在无监督域自适应方面表现出卓越的性能，也证明了该模型学习描绘跨领域数据的分离特征的有效性。

    Sep, 2018

  • ToonTalker：跨领域人脸再现

    本文提出了一种用于无配对数据的跨领域面部重现方法，通过转换器为不同领域中的动作在共同的潜变量空间进行对齐和转移，采用两个特定领域的运动编码器和可学习的运动基础记忆单元进行特性捕捉，并通过类比约束使用两个领域的数据进行新颖的跨领域训练方案，实验结果表明我们的方法优于其他竞争方法。

    Aug, 2023

  • DeepFaceEditing: 利用分离的几何和外表控制实现人脸的深度生成和编辑

    DeepFaceEditing 是一种针对面部图像的结构解缠框架，旨在支持面部生成和编辑，具有几何和外表的解缠控制能力。该方法采用了局部到全局的方法，将面部组件图像分解为几何和外貌表示，并使用全局融合模块进行一致融合，以提高生成质量，并利用草图辅助提取更好的几何表示，同时也支持通过草图进行直观的几何编辑。该方法相较于最先进的方法表现出更优秀的细节和外观控制能力。

    May, 2021

  • 基于解缠表示的互信息最大化用于差分形态检测

    本文提出了一种新颖的差分形态检测框架，利用特征点和外貌解耦，在差分形态检测性能方面提供了最先进的性能，其功能是通过在特征点，外貌和 ID 领域中的距离来实现的。

    Dec, 2020

  • 极端姿势和表情下的高保真面部操纵

    本文提出了一种简化面部操纵过程的新框架，包括边界预测阶段和解缠合成阶段，其中边界预测阶段通过边界图像对姿势和表情进行建模，解缠合成阶段则使用两个编码器网络将预测的边界图像和输入的面部图像编码到结构和纹理潜空间中并进行分离，最后基于一个新的高分辨率的人脸操纵数据库进行实验验证。

    Mar, 2019

  • 个性化面部建模以改进面部重建和运动重新定向

    提出了一种基于结合使用大量视频数据、学习不同用户的个性化面部模型以及独特表情的动态图像映射，可以准确捕捉广泛条件下的微细面部动态及更准确地重构面部和面部运动，比现有技术达到更好的效果。

    Jul, 2020