May, 2023

AvatarReX: 实时表情丰富的全身虚拟形象

PDF
TL;DRAvatarReX 是一种新的方法，通过学习基于 NeRF 的全身化身构建，提供可表达身体、手和脸部的控制，同时支持实时动画和渲染；采用合成的化身表示方式，将身体、手和脸部分别建模，并解耦几何和外观，进而实现了针对 DSLR 图像的渲染流程，从而合成高质量的自由视角图像。
avatarrexnerfavatar representationdisentanglementreal-time rendering
发现论文，激发创造
  • BakedAvatar: 实时头像合成的神经场烘焙技术

    实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。

    Nov, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023

  • 潜在表情代码学习：用于表现神经头像的潜在表达编码

    该研究提出了一种基于自我监督学习的表现力神经人头像生成模型，使用 NeRF 和潜在表情编码学习人脸表情，能够捕捉高频细节丰富的表情并实现跨身份表演。

    May, 2023

  • 现实的画布，语言的画笔：从单目视频中塑造 3D 头像

    ReCaLab 是一个可完全区分的流程，通过学习高保真度的三维人体化身，仅从单一的 RGB 视频中生成。

    Dec, 2023

  • 动画艺术化头像：由单张图像生成可动画的三维艺术化头像

    通过一张单一的图像生成具有可控面部表情、头部姿态和肩膀运动的可动画 3D 感知艺术化人物形象，并进行实时动态演示。

    Mar, 2024

  • HAvatar: 基于面部模型调节的高保真头部化身

    通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。

    Sep, 2023

  • 基于文本指导的合成型 3D 人物生成与编辑

    通过使用 3D 面部化身、文本引导生成、组合式化身、NeRF 和虚拟试穿，我们提出了一个新方法（TECA）来创建逼真的 3D 面部化身，同时实现可编辑性和特征转移。

    Sep, 2023