H-NeRF: 人体运动的神经辐射场渲染与时间重建
本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色,通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景,并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。
Jun, 2021
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。
Mar, 2022
HumanNeRF 是一种通用的神经表示方法,它沿着多视角输入引入了一个聚合像素对齐特征,并使用一种姿态嵌入的非刚性变形场来处理动态运动,进而通过外观融合模块进一步提高渲染质量,实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。
Dec, 2021
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
GHNeRF 是一种新颖的方法,通过学习 2D/3D 人体关节位置与 NeRF 表示来解决 3D 人体表示中缺乏的关键信息,以实现对人体生物力学特征的编码,并得到接近实时的最先进结果。
Apr, 2024
本论文提出 HOSNeRF 方法,通过将新的物体骨骼引入传统的人类骨骼层次结构,有效地估计动态人体 - 物体 - 场景的 large object deformations,并引入两种学习可用的目标状态嵌入,可以用于学习人体 - 物体表示和场景表示。通过广泛实验,表明 HOSNeRF 在两个具有挑战性的数据集上的表现显著优于最先进的方法。
Apr, 2023
本文提出了一种基于神经径向基方法的生成神经体模型,通过学习未标记的单目视频,在不需要地面真实标签的情况下,共同完善的姿势和体积身体形状和外观,有效改善了多样化数据集上的准确性,是对使用反向运动学的引入的一个重要贡献。
Feb, 2021
本研究提出了一种基于人体参数模型学习可泛化神经辐射场的新方法,使用稀疏多视角相机合成任意人类表演的自由视点视频,并在实验中取得了明显的优于以往 NeRF 方法的表现。
Sep, 2021
我们引入了 HumanRF,这是一种 4D 动态神经场景表示,可以捕获多视角视频输入中运动的全身外观,并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解,我们可以以高压缩比捕获高分辨率细节,并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据,在新颖视角合成方面取得了重要进展,实现接近于制作水平的品质。
May, 2023