360° 体感肖像化头像
本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法,该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态,使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感,并通过在 3DMM 几何上锚定的局部特征来预测,通过 3DMM 变形驱动,插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的,可以整合空间上下文和产生代表性的局部特征。大量实验表明,与其他最先进的方法相比,我们能够重建高质量的头像,并具有更准确的表情依赖细节,更好地推广到训练之外的表情和数量上优秀的渲染效果。
Apr, 2023
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
本文提出一种利用神经放射场和局部像素对齐特征预测人头部的体积化代理,可以在多身份环境中进行泛化,并且无需明确的 3D 监督。该方法在以光度渲染损失为基础的端到端训练中表现出更好的质量,并且能够生成真实的面部表情。
Jan, 2021
通过在捕捉过程中引入可动化 AvatarCap,该方法通过将图像观察和 avatar 先验信息相结合来重建高度逼真、姿态依赖的 3D 纹理模型,并利用 GeoTexAvatar 学习一个有效的可动化 Avatar 模型以及一个涉及规范化融合和重建网络的捕捉方法来进一步提高数据的质量。
Jul, 2022
我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
为了实现人类交流的沉浸式 3D 体验,需使用像手机摄像头一样的普通硬件获取 360 度的逼真人形头像,并使用经过训练的关键点检测器和多阶段优化过程创建头像。
Oct, 2022
提出了一种名为 IMavatar 的新方法,可以从单目视频中生成隐式头像。通过学习混合形状和蒙皮场来表示表情和姿势相关的变形,使得这些属性可以用于完成新表情和姿态下的几何和纹理场的变形,并通过光线行进和迭代根查找,为每个像素定位规范表面交点,从而实现了头像的生成,并通过端到端的训练,得出了比现有技术更完整的表情空间和几何形状。
Dec, 2021
通过组合三维头部重建、神经场和表面渲染技术,本研究提出了一种新的方法(InstantAvatar),可以在几秒钟内从少量图像(甚至只有一张)中恢复出完整的头部化身,并实现了 100 倍的重建速度提升。
Aug, 2023