HAvatar: 基于面部模型调节的高保真头部化身

Sep, 2023

HAvatar: 基于面部模型调节的高保真头部化身

HAvatar: High-fidelity Head Avatar via Facial Model Conditioned Neural Radiance Field

Xiaochen Zhao, Lizhen Wang, Jingxiang Sun, Hongwen Zhang, Jinli Suo...

TL;DR通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。

Abstract

The problem of modeling an animatable 3d human head avatar under light-weight setups is of significant importance but has not been well solved. Existing 3D representations either perform well in the realism of portrait images synthesis or the accuracy of expression control, but not bot

3d human head avatar hybrid explicit-implicit 3d representation facial model conditioned neural radiance field expressiveness animation stability

发现论文，激发创造

NOFA：基于 NeRF 的一次性面部头像重建

提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

Jul, 2023

BakedAvatar: 实时头像合成的神经场烘焙技术

实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。

Nov, 2023

基于空间变化的表情条件神经辐射场的高保真 3D 头像重建

通过引入一种新颖的空间可变表情（SVE）条件，结合具有空间位置特征和全局表情信息的简单的 MLP 生成网络，所提出的 SVE 条件神经辐射场可以处理复杂的面部表情并实现高保真度的 3D 头像的逼真渲染和几何细节，此外，通过引入新的由粗到精的训练策略，包括粗阶段的几何初始化策略和精细阶段的自适应重要性采样策略，我们的方法在手机收集和公共数据集上在渲染和几何质量方面优于其他最先进的方法。

Oct, 2023

艺术家友好型可调光和可动画神经头部

通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

Dec, 2023

单目 4D 面部头像动态神经辐射场重建

使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

Dec, 2020

神经图像化人头像：适用于人类化身建模的通用辐射场

本文提出一种基于稀疏多视图图像的神经图像化头像生成方法，利用了近年来提出的体视图下的神经反射场（NeRF）模型及图像合成技术，提高了新姿势下头像的变形能力和形体形变下姿势生成的只优。

Apr, 2023

形变神经辐射场一次高保真说话头合成

本文提出了 HiDe-NeRF，其采用显式 3D 结构表示和隐式神经渲染来提高脸部表情和姿态的真实性，从而实现高保真和自由视角的说话头合成。