Dec, 2023

MonoNPHM：从单目视频中动态重建头部

PDF
TL;DR动态的 3D 头部重建，利用单目 RGB 视频进行 Monocular Neural Parametric Head Models (MonoNPHM) 的建模。
发现论文，激发创造
  • HeadRecon：基于单目视频的高保真三维头部重构

    从任意单眼视频中重建高保真 3D 头部模型的方法。设计了一个带有两个动态变形场的动态隐式神经网络，通过学习的有符号距离场在规范空间中建模头部几何形状，以提高重建精度和鲁棒性。与先进方法的大量消融研究和比较显示出我们提出的方法的有效性和鲁棒性。

    Dec, 2023

  • 从单目 RGB 视频学习个性化、高质量的立体头像

    本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

    Apr, 2023

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • DPHMs：基于深度的跟踪的扩散参数头模型

    介绍了扩散参数头模型（DPHM），这是一个生成模型，可以从单目深度序列中实现强大的体积头部重建和跟踪。通过提出一种基于潜在扩散的先验进行规范化，有效地限制了身份和表情码位于表示合理头部形状的潜在流形上。通过与最先进的跟踪方法进行比较，证明了我们的方法在头部身份重建和表情跟踪方面的改进。

    Dec, 2023

  • MorpheuS: 从单目 RGB-D 视频中的神经动态 360° 表面重建

    实现从单目 RGB-D 视频中对可变形物体进行高保真度的 360° 表面重建的 Neural rendering 技术的研究。

    Dec, 2023

  • MonoHuman：从单目视频中生成可动的人类神经网络场

    本论文提出了一种名为 MonoHuman 的新型框架，该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场，其利用离线关键帧信息来推断人体不同部位运动的相关特征，使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比，该框架产生的效果更为卓越。

    Apr, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 从单目视频重建个性化语义面部 NeRF 模型

    使用神经辐射场的语义模型构建了一个逼真的人脸模型，可用于面部重定向和表情编辑。

    Oct, 2022

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • HDM-Net: 通过学习变形模型的单目非刚性三维重建

    本篇论文提出了一种基于神经网络的混合变形模型网络 (HDM-Net) 来解决单目非刚性三维重建的问题，并利用多种状态下的知形状非刚性变形结构进行网络训练，通过纹理依赖表面变形、着色和轮廓等多种重建线索得到一个非常普适的结果。

    Mar, 2018