Jan, 2024
通过神经逆渲染从面部视频生成高质量的网格混合形状
High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering
Xin Ming, Jiawei Li, Jingwang Ling, Libo Zhang, Feng Xu
TL;DR通过利用最新的神经逆向渲染技术，我们提出了一种从单个或稀疏多视角视频中重建基于网格的混合形状系统的新技术，该技术构建了一个将顶点位移参数化为具有四面体连接的微分坐标的变形表示，通过在该表示中构建一组语义规则，实现了混合形状和表情系数的联合优化，并提出了神经回归器来模拟时变动作参数以支持用户友好的多视角设置。实验证明，我们能够通过接受单个或稀疏多视角视频的灵活输入，重建出个性化的高保真混合形状，这些形状在几何和语义上都非常准确，并且与工业动画流程兼容。代码和数据将会发布。