Dec, 2020

虚拟人物的关节神经渲染

PDF
TL;DR本研究提出了基于 DNR 的全新框架 ANR，可以显式地解决虚拟人类角色中没有被网格捕捉到的形变、对齐和动态问题，并展示了其对 DNR 和基于角色创建和动画的方法的优越性。我们经过两次用户研究观察得到了对模型的明显偏好，并在定量评估指标上展现了最先进的性能。在知觉上，我们发现该模型具有更好的时间稳定性、细节水平和真实性。
deferred neural renderingskinned meshesarticulated neural renderingvirtual human avatarsuser studies
发现论文，激发创造
  • ARAH：人体关节 SDF 的可动态渲染

    本文提出了一种方法，将人体模型与可微分渲染相结合，从多视点 RGB 视频中创建可动态的穿着衣服的人形化身，其具有细节化的几何结构，并且能够适应超出分布范围的姿势。

    Oct, 2022

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 野外面部网格动画和重定向的神经面部绑定

    本文提出了一种深度学习的自动化骨骼绑定与重定向方法，名为神经面部绑定（NFR），其在艺术控制、面部网格的连接与表情、表情细节方面具有良好表现。

    May, 2023

  • BakedAvatar: 实时头像合成的神经场烘焙技术

    实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。

    Nov, 2023

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023

  • 艺术家友好型可调光和可动画神经头部

    通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

    Dec, 2023

  • HAvatar: 基于面部模型调节的高保真头部化身

    通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。

    Sep, 2023

  • FNeVR：用于人脸动画的神经体积渲染技术

    提出了一种称作 FNeVR 的神经体渲染网络，结合了 2D 运动变形与 3D 体渲染技术实现面部动画生成中的身份保留与真实逼近问题。

    Sep, 2022

  • 神经图像化人头像：适用于人类化身建模的通用辐射场

    本文提出一种基于稀疏多视图图像的神经图像化头像生成方法，利用了近年来提出的体视图下的神经反射场（NeRF）模型及图像合成技术，提高了新姿势下头像的变形能力和形体形变下姿势生成的只优。

    Apr, 2023

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023