PVA:像素对齐的容积化身
本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法,该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态,使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感,并通过在 3DMM 几何上锚定的局部特征来预测,通过 3DMM 变形驱动,插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的,可以整合空间上下文和产生代表性的局部特征。大量实验表明,与其他最先进的方法相比,我们能够重建高质量的头像,并具有更准确的表情依赖细节,更好地推广到训练之外的表情和数量上优秀的渲染效果。
Apr, 2023
基于单目视频输入,本研究提出了一种名为 360° 体积肖像(3VP)头像的新方法,该方法用于重建 360° 全景真实头像,以模板为基础跟踪躯干、头部和面部表情,训练基于神经辐射场的神经体积表示,解决了外观变化模型中特别是嘴唇和牙齿区域的挑战,评估了实际采集的数据并与最先进的单目重建方法进行了比较。
Dec, 2023
本篇研究采用像素编码阿凡达(PiCA)作为一种深度生成模型,结合了卷积神经网络和自适应渲染的方法以实现在虚拟或增强现实中与逼真的人物形象进行面对面交流。实验表明,PiCA 比现有技术在不同性别和肤色的人物上的表情和视图的再现具有更好的表现,并且比当前基准模型更为紧凑,使得在单个移动 VR 头显上同时呈现 5 个人物形象成为可能。
Apr, 2021
通过组合三维头部重建、神经场和表面渲染技术,本研究提出了一种新的方法(InstantAvatar),可以在几秒钟内从少量图像(甚至只有一张)中恢复出完整的头部化身,并实现了 100 倍的重建速度提升。
Aug, 2023
提出一种将神经点表示和神经体渲染结合的方法,使用高分辨率 UV 位移贴图约束神经点来实现更准确的表情控制,通过使用 GEP 射线采样策略和轻量级辐射解码过程,提高了渲染和训练效率。在 Multiface 数据集上通过实验验证了该方法的有效性。
Jul, 2023
本文介绍一种创建高度逼真、个性化发型的头像的新方法,通过利用不同发型间的局部相似性并从多视角捕捉数百人的数据生成通用的发型外观先验模型,该先验模型以 3D 对齐特征为输入,在稀疏点云颜色条件下生成密集辐射场,通过实验证明该模型能够捕捉各种多样的发型并且应用在生成逼真、个性化的具有完整发型的头像上,取得了优于现有方法的效果。
Dec, 2023
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
本文提出即时体积头像 (INSTA) 的新方法,使用神经光辐射场对嵌入在参数化面部模型周围的神经图形原语进行建模,能够在不到 10 分钟的时间内通过单眼 RGB (红绿蓝)肖像视频构建数字头像,并实现新的姿势和表情的交互式渲染,并且在不同主题上量化和质量方面研究, INSTA 表现出比现有方法更优的渲染质量和训练时间。
Nov, 2022
通过引入一个由点云驱动的动态基于点的表情场,以及在三平面规范场中使用多三平面注意力(MTA)融合模块来利用多个输入图像的信息,我们提出了一种名为 GPAvatar 的框架,可以在单次前向传递中从一个或多个图像中重建 3D 头像,实现忠实的身份重建,精确的表情控制和多视角一致性,并展示了自由视点渲染和新视角合成的有 promising 结果。
Jan, 2024