MMAug, 2023

多功能人脸动画师：在 RGBD 空间中驱动任意的 3D 人脸形象

PDF
TL;DR提出了一种新颖的自监督框架，名为 Versatile Face Animator，它将面部动作捕捉与动作重新定位结合起来，从而实现了在任意 3D 角色上进行面部动画的理想效果，并具备潜在的成本效益和高效率的潜力。
3d facial animationfacial motion capturemotion retargetingrgbd animationmesh retarget module
发现论文，激发创造
  • 动画艺术化头像：由单张图像生成可动画的三维艺术化头像

    通过一张单一的图像生成具有可控面部表情、头部姿态和肩膀运动的可动画 3D 感知艺术化人物形象，并进行实时动态演示。

    Mar, 2024

  • 从单幅肖像生成可动画的 3D 卡通人脸

    本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

    Jul, 2023

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 从单目 RGB 视频学习个性化、高质量的立体头像

    本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

    Apr, 2023

  • 自带角色：定制角色自动面部动画生成的整体解决方案

    提出了一种全面的解决方案，通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸，实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包，可接受图像和视频作为输入，以动画形式呈现目标虚拟人脸，并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能，从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。

    Feb, 2024

  • AVFace: 面向详细的音频视觉 4D 人脸重建

    该研究提出了一种基于多模态的方法来实现从单目视频中进行 4D 人脸重建，并使用 AVFace 技术准确地重构任何人的面部和唇部运动，而无需任何 3D 地面真实测试。

    Apr, 2023

  • 使用 RGB-D 自拍创建高保真 3D 数字人头

    本文介绍一种使用 RGB-D 自拍相机实现高保真、逼真、照片级的 3D 数字人头制作的完全自动化系统。该系统采用不同于传统的面部几何建模和反射合成技术，成功运用了两阶段帧选则过程和可微渲染器的 3DMM 拟合算法来从多视角 RGB-D 数据中恢复面部几何，进而实现人脸表面纹理的抠取与合成，从而制作出了高度真实细节的数字人头。

    Oct, 2020

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • 桌面场景下的 4D 普适实时人脸动画制作流程

    本文介绍了一种适用于动画师在桌面上高精度实时进行面部动画的工作流程，该工作流程将被用于 FACEGOOD 的 Avatary 软件中，仅需使用消费级 3D 摄像头，便可以达到高精度面部捕捉，并极大地提高动画师的生产效率，减少了传统面部捕捉方案的成本和复杂性，具有革命性的潜力，将改变娱乐产业的面部动画制作方式。

    Apr, 2023

  • 沉浸式远程存在化人物的虚拟现实面部动画

    本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

    Apr, 2023