Nov, 2023

BakedAvatar: 实时头像合成的神经场烘焙技术

PDF
TL;DR实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。
4d human head avatarsneural radiance fieldsreal-time neural head avatar synthesispolygon rasterization pipelinedeformable multi-layer meshes
发现论文，激发创造
  • HAvatar: 基于面部模型调节的高保真头部化身

    通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。

    Sep, 2023

  • 艺术家友好型可调光和可动画神经头部

    通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

    Dec, 2023

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • 学习动态人头部的组合辐射场

    本文提出了一种新颖的 3D 组合表示方法，将离散和连续的体积表示方法相结合，结合了粗糙的网格动画代码和连续的学习场景功能，使用可区分的体积渲染来计算动态人头和上半身的新视图，并在使用仅 2D 监督时进行端到端的训练，实现了动态人头和上半身新视图综合的最新最佳结果。

    Dec, 2020

  • 神经图像化人头像：适用于人类化身建模的通用辐射场

    本文提出一种基于稀疏多视图图像的神经图像化头像生成方法，利用了近年来提出的体视图下的神经反射场（NeRF）模型及图像合成技术，提高了新姿势下头像的变形能力和形体形变下姿势生成的只优。

    Apr, 2023

  • 快速双层神经合成一次性逼真头像

    利用神经渲染基础系统从单张照片创建头像，将外貌分解为两个图层，第一层是由小型神经网络合成的姿态相关的粗略图像，第二层由姿态无关的纹理图像定义，通过在线形变和添加到粗略图像上，以确保高分辨率综合头部视图的有效性和速度。实验显示了和先前神经头像模型相比具有显著的推理加速和视觉质量，同时还在智能手机上实现了实时功能。

    Aug, 2020

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023