Apr, 2024

3DFlowRenderer: 基于密集三维面部流估计的一次性面部再制作

PDF
TL;DR在这篇论文中，我们提出了一种新的变形技术，将 2D 和 3D 方法的优势结合起来，以实现稳健的面部再演技术。我们生成了密集的 3D 面部流场，并通过所提出的 “循环变形损失” 将其转换回 2D RGB 空间，从而实现了对源面孔和目标面孔的 3D 几何控制。通过首先渲染面部前景区域，然后学习对由于源面孔平移而需要填充的空白区域进行修复，我们重建了细节丰富的背景，而且在渲染无伪影的面部图像方面超过了现有技术。
facial expression transferone-shot settingwarping technology3d flow prediction networkartifact-free facial images
发现论文，激发创造
  • 一拍即合人脸再现

    该研究提出了一种基于一次学习的人脸复现系统，通过将目标人脸外观和源脸形状投影到潜在空间中，并学习一个共享解码器来使这两个潜在空间相关联，从而实现有效建模。该方法在 Mustache 和 Hair 区域照片合成的质量上比传统方法有很大提高，并且仅用一张目标图像训练便能实现与多张目标图像训练同样令人满意的结果.

    Aug, 2019

  • 深度脸部流：野外稠密三维面部运动估计

    DeepFaceFlow 是一种基于 3D 的深度学习框架，用于快速准确地从单目图像中捕捉面部运动，并且可以应用于面部表情识别等领域，同时结合了 occlusion-aware 和 3D-based 损失函数进行训练和测试，方法优于现有的流和 3D 方法，还能作为完整的头部面部视频合成中的一部分。

    May, 2020

  • 使用图卷积网络的网格引导单次脸部再现

    本文提出了一种使用重建的三维网格作为指导学习复合脸合成所需光流的方法，以便更精确地实现表情和姿势，在定性和定量比较方面优于现有方法，并解决现有方法在单次或少次情况下的身份保护问题。

    Aug, 2020

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • Head2HeadFS：基于视频的头部逆向再现，低样本学习

    提出了一种新颖的轻松适应管道 head2headFS，可以将源人的表情和整个头部姿势高质量地转移到目标人，使用源的密集 3D 面部形状信息来调节目标人的合成，fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器，具有 few-shot learning 功能。

    Mar, 2021

  • Face2Face: 实时 RGB 视频人脸捕获和再现

    Face2Face 是一种用于实时面部复刻的创新方法，可以通过非刚性基于模型的束缚，跟踪面部表情，实现来自单眼录制的目标视频序列的面部表情的动画化，并以逼真的方式重新渲染操作后的输出视频。

    Jul, 2020

  • FaR-GAN 用于一次性人脸再现

    本文提出了一种只需要输入一个源标识符和目标表情，便可生成一定质量的表情图片的一次性脸部再现模型，FaR-GAN，适用于图片处理和电影制作。将此方法应用于 VoxCeleb1 数据集并与其他方法进行比较取得更好的效果。

    May, 2020

  • VOODOO 3D：一次性 3D 头像重现的体积面部解耦

    基于三维感知头部复原方法、神经解缠结框架和立体表达，我们提出了一种实时的、高保真度和视角一致的 3D 头部复原方法，特别适用于基于全息显示的三维电话会议系统。

    Dec, 2023

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • 稠密内在外观流用于人体姿态转移

    该研究提出了一种人体姿势转换的新方法，通过估计稠密和内部的 3D 外观流来更好地指导姿态之间像素的转移，并通过该方法生成了真实的目标姿态图像。

    Mar, 2019