Oct, 2020

使用 RGB-D 自拍创建高保真 3D 数字人头

PDF
TL;DR本文介绍一种使用 RGB-D 自拍相机实现高保真、逼真、照片级的 3D 数字人头制作的完全自动化系统。该系统采用不同于传统的面部几何建模和反射合成技术，成功运用了两阶段帧选则过程和可微渲染器的 3DMM 拟合算法来从多视角 RGB-D 数据中恢复面部几何，进而实现人脸表面纹理的抠取与合成，从而制作出了高度真实细节的数字人头。
3d digital human headsfacial geometry modelingreflectance synthesisrgb-d data3dmm
发现论文，激发创造
  • 从单目 RGB 视频学习个性化、高质量的立体头像

    本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

    Apr, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • i3DMM：人类头部深度隐式三维可变形模型

    本文提出了首个深度隐式三维可微形变模型（i3DMM），该模型不仅捕捉了前部人脸的特定身份几何、纹理和表情，还模拟了包括头发在内的整个头部。使用一种新的设计，将形状与颜色分离来学习密集的对应关系，最终展示了 i3DMM 的优点及其应用。

    Nov, 2020

  • FAGhead: 单目视频中完全动画的高斯头部

    该研究介绍了 FAGhead 方法，通过使用单目视频，基于传统的三维可塑网格形状和优化中性三维高斯模型，结合可学习的高斯点位置的基于点的可学习表示场（PLRF），以及通过引入 alpha 渲染来管理化身的边缘，实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态，超越了现有方法的性能。

    Jun, 2024

  • DiffHuman：人体的概率光真实三维重建

    DiffHuman 是一种基于概率的方法，通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同，DiffHuman 根据二维图像预测三维重建的概率分布，可以生成与图像一致的多个详细的三维人体模型。此外，DiffHuman 还引入了一个生成器神经网络，可以以大幅减少的运行时间进行渲染，从而实现了一种新颖的双分支扩散框架。在实验中，DiffHuman 在重建可见表面方面与现有技术不相上下，并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。

    Mar, 2024

  • 高质量家庭脸部几何和外观捕捉

    该论文提出了一种高质量的面部捕捉方法，利用单个手机闪光灯序列在昏暗的房间中捕捉面部几何和外观，模拟了完整的面部包括皮肤、口腔内部、头发和眼睛，并展示了可以捕捉高质量的 3D 可光照化扫描。

    Dec, 2023

  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • RenderMe-360: 高保真头像数字素材库及基准测试

    本文提出了 RenderMe-360 数据集，这是一个包含了头像高度完整 4D 数据的大规模数字库。数据集包含了 243 + 万个完整的头框架和来自 500 个不同身份的超过 800k 个视频序列，是一个高保真度和高多样性的数据库，提供了丰富的属性和几何风格。该数据集还提供不同粒度的注释，并在头像研究的五项主要任务上进行了全面的基准测试。本文的实验揭示了当前方法的优缺点，表明 RenderMe-360 将开启未来头像研究领域的探索之门。

    May, 2023

  • 多功能人脸动画师：在 RGBD 空间中驱动任意的 3D 人脸形象

    提出了一种新颖的自监督框架，名为 Versatile Face Animator，它将面部动作捕捉与动作重新定位结合起来，从而实现了在任意 3D 角色上进行面部动画的理想效果，并具备潜在的成本效益和高效率的潜力。

    Aug, 2023

  • 从单张肖像创建游戏角色面孔的 MeInGame

    本研究提出一种自动化游戏角色面部创建方法，可以预测面部形状和纹理，并可以整合到大多数现有的三维游戏中，超越目前游戏中使用的最先进的方法

    Feb, 2021