CVPRMar, 2022

从单个 RGB-D 视频序列中学习个性化的隐式神经头像

PDF
TL;DR本文提出一种从短的 RGB-D 序列中学习个性化的隐式神经化身 (PINA) 的新方法，旨在创造一种详细和个性化的虚拟自我拷贝并使用真实的服装变形进行动画处理。
personalized implicit neural avatarsrgb-d sequenceclothing deformationsnon-rigid deformationsglobal optimization
发现论文，激发创造
  • 从单目 RGB 视频学习个性化、高质量的立体头像

    本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

    Apr, 2023

  • ANIM：从单个 RGB-D 图像准确重建人类模型的神经隐式模型

    通过引入深度观察来重建任意 3D 人体形状的 ANIM 方法，在生成具有精确度的 3D 人体表面方面，优于使用 RGB、表面法线、点云或 RGB-D 数据的最新方法。

    Mar, 2024

  • IntrinsicAvatar：基于物理的动态人体反渲染，通过显式光线追踪从单目视频中

    我们提出了 IntrinsicAvatar，一种从仅单目视频中恢复着装人类角色的内在属性，包括几何、反射率、材质和环境光照的新方法。

    Dec, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • gDNA: 生成详细神经化身模型

    这篇论文提出了一种新方法，使用前向蒙皮模块和对抗网络模型，仅从少量生动的数据中学习生成多样化的 3D 人形模型，以便能够更自然地生成身着不同服装的人形模型，并且还可用于将人形模型拟合到原始扫描数据上。

    Jan, 2022

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023

  • Instruct-Video2Avatar: 使用说明的视频头像生成

    本文提出一种使用图像条件扩散模型和神经辐射场方法，通过短单眼 RGB 视频和文本说明合成编辑后的、照片逼真的可动 3D 神经头像的方法。在各种主题的定量和定性研究中，我们的方法胜过了现有技术。

    Jun, 2023

  • 现实的画布，语言的画笔：从单目视频中塑造 3D 头像

    ReCaLab 是一个可完全区分的流程，通过学习高保真度的三维人体化身，仅从单一的 RGB 视频中生成。

    Dec, 2023

  • 使用单目摄像头实现衣着 3D 人体角色的动态外貌建模

    使用一个人的动态视频，通过引入新颖的组合式人体建模框架，结合显式建模和隐式建模的方法，实现高质量的服装 3D 人体化身建模，解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战，成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。

    Dec, 2023

  • One2Avatar: 少样本用户自适应的生成式隐式头像

    使用少量图像创建高质量的个性化头像，通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验，实现基于少量输入图像的自动解码，优化 3DMM 拟合和相机校准以改进少样本自适应，开创了创建更高效个性化头像的道路，超越现有最先进的方法。

    Feb, 2024