本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法,该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态,使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感,并通过在 3DMM 几何上锚定的局部特征来预测,通过 3DMM 变形驱动,插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的,可以整合空间上下文和产生代表性的局部特征。大量实验表明,与其他最先进的方法相比,我们能够重建高质量的头像,并具有更准确的表情依赖细节,更好地推广到训练之外的表情和数量上优秀的渲染效果。
Apr, 2023
我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
论文提出了一种实时捕获全身人类表现的全新方法,能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态,通过二阶段的分析合成优化策略实现精细的人类表现捕获,并且结合了 4D 运动捕捉,利用材料区域的自动识别进行模型优化,从而实现最终的实时全身表现捕捉。
Oct, 2018
使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示,结合场景表示网络和低维可变形模型进行虚拟场景生成。
Dec, 2020
我们提出了 IntrinsicAvatar,一种从仅单目视频中恢复着装人类角色的内在属性,包括几何、反射率、材质和环境光照的新方法。
Dec, 2023
本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法,通过映射表征人体在不同姿势和角度的变化特征,实现了高质量渲染。
Aug, 2022
利用单眼视频生成高保真度人体模型,通过语义纹理先验和面部标记提高人体模型质量,并采用新的纹理缝合策略,使生成的人体模型更加真实。
Aug, 2018
AvatarReX 是一种新的方法,通过学习基于 NeRF 的全身化身构建,提供可表达身体、手和脸部的控制,同时支持实时动画和渲染;采用合成的化身表示方式,将身体、手和脸部分别建模,并解耦几何和外观,进而实现了针对 DSLR 图像的渲染流程,从而合成高质量的自由视角图像。
May, 2023
NECA 是一种能够从单目或稀疏视点视频中学习多用途的人体表示的方法,能够通过体积渲染从几何、色素、阴影和外部光照等分离的神经场预测来获得具有高频细节的逼真渲染,并在光照方面具有超越最先进方法的优势。
Mar, 2024
提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法,通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积,同时使用补偿网络来补充面部细节,并引入变形场来对面部表情进行精细控制。与多种先进方法相比,实验结果显示合成效果更加优越。
Jul, 2023