May, 2024

VOODOO XP：VR 远程传输的表达性一瞬头部复原

PDF
TL;DR介绍了一种名为 VOODOO XP 的 3D 感知一次性头部复现方法，可以从任何输入驱动视频和单个 2D 肖像中生成高度表情丰富的面部表情。该方法具有实时性、视角一致性，并且可以即刻使用，无需校准或微调。在单眼视频设置和端到端虚拟现实远程呈现系统中演示了该解决方案，用于双向交流。与 2D 复现方法相比，3D 感知方法旨在保留主体的身份，并确保对新的相机姿势视角一致的面部几何，从而使其适用于沉浸式应用。我们通过一种新颖的交叉复现架构，将驱动者的面部表情直接转移给输入源的 3D 抬升模块的变压器块来展示了高度有效的分解。我们展示了一种创新的多阶段自我监督方法，该方法基于粗到细的策略，并在初始训练阶段进行了明确的面部中性化和 3D 抬升正向化。我们进一步将这种新颖的头部复现解决方案集成到一个可访问的高保真虚拟现实远程呈现系统中，任何人都可以立即从任何照片创建个性化的神经头像，并使用头戴式显示器赋予其生命。我们在大量多样的主题和捕获环境上展示了在表情丰富性和相似性保持方面的最新性能。
3d-aware one-shot head reenactmentexpressive facial expressionsvr telepresence systemfacial disentanglement techniqueshigh-fidelity neural head avatar
发现论文，激发创造
  • VOODOO 3D：一次性 3D 头像重现的体积面部解耦

    基于三维感知头部复原方法、神经解缠结框架和立体表达，我们提出了一种实时的、高保真度和视角一致的 3D 头部复原方法，特别适用于基于全息显示的三维电话会议系统。

    Dec, 2023

  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016

  • 超级再现：通过联合学习优化和重定位面部实现一次性再现

    使用预训练的 StyleGAN2 生成器，结合超网络技术，我们的神经脸部再现方法 HyperReenact 在一次性条件下，实现了逼真的说话头部图像的生成，消除了外部编辑方法通常产生的伪影，并具有出色的鲁棒性，甚至在极端头部姿势变化下也表现出卓越的性能。

    Jul, 2023

  • 3DFlowRenderer: 基于密集三维面部流估计的一次性面部再制作

    在这篇论文中，我们提出了一种新的变形技术，将 2D 和 3D 方法的优势结合起来，以实现稳健的面部再演技术。我们生成了密集的 3D 面部流场，并通过所提出的 “循环变形损失” 将其转换回 2D RGB 空间，从而实现了对源面孔和目标面孔的 3D 几何控制。通过首先渲染面部前景区域，然后学习对由于源面孔平移而需要填充的空白区域进行修复，我们重建了细节丰富的背景，而且在渲染无伪影的面部图像方面超过了现有技术。

    Apr, 2024

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • Head2HeadFS：基于视频的头部逆向再现，低样本学习

    提出了一种新颖的轻松适应管道 head2headFS，可以将源人的表情和整个头部姿势高质量地转移到目标人，使用源的密集 3D 面部形状信息来调节目标人的合成，fine-tuning 自适应多人数据集训练的通用生成器为个人特定的生成器，具有 few-shot learning 功能。

    Mar, 2021

  • 一拍即合人脸再现

    该研究提出了一种基于一次学习的人脸复现系统，通过将目标人脸外观和源脸形状投影到潜在空间中，并学习一个共享解码器来使这两个潜在空间相关联，从而实现有效建模。该方法在 Mustache 和 Hair 区域照片合成的质量上比传统方法有很大提高，并且仅用一张目标图像训练便能实现与多张目标图像训练同样令人满意的结果.

    Aug, 2019

  • 自动人脸重现

    提出了一种基于图像的面部再现系统，其可用于将源视频用户的面孔替换为现有目标视频中演员的面孔，并保留原始目标性能，系统具有全自动化和不需要源表情数据库的特点，使用了图像检索和面部转移以产生令人信服的效果。

    Feb, 2016

  • 通用单次神经头像模拟

    该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。

    Jun, 2023

  • 情绪增强的多模一次拍摄头像

    我们对 MegaPortraits 模型进行了深入的检查和评估，重点关注其用于面部表情描述符的潜在空间，并发现了其表达强烈面部动作能力的几个局限。为解决这些限制，我们提出了针对训练流程和模型架构的重大改进，推出了我们的 EMOPortraits 模型。该模型增强了对于真实支持强烈非对称面部表情的能力，在情感转移任务中取得了新的技术水平，在指标和质量方面超越了以往的方法。此外，我们将语音驱动模式融入模型，实现了在音频驱动的面部动画中的顶级性能，使得通过不同的模态，包括视觉信号、音频或两者的混合驱动源标识成为可能。还提出了一个新颖的多视角视频数据集，包括广泛范围的强烈非对称面部表情，填补了现有数据集中这类数据的空白。

    Apr, 2024