CVPRApr, 2023
从单目 RGB 视频学习个性化、高质量的立体头像
Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos
Ziqian Bai, Feitong Tan, Zeng Huang, Kripasindhu Sarkar, Danhang Tang...
TL;DR本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。