H-NeRF: 人体运动的神经辐射场渲染与时间重建
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
该论文提出了一种新的非刚性动态场景重建和新视角合成方法——NR-NeRF,该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示,并且可以生成复杂的渲染场景。
Dec, 2020
本研究提出了一种基于人体参数模型学习可泛化神经辐射场的新方法,使用稀疏多视角相机合成任意人类表演的自由视点视频,并在实验中取得了明显的优于以往NeRF方法的表现。
Sep, 2021
本研究提出了一种基于神经辐射场的高保真度自由视点下人体合成的通用且高效的管道,其中利用几何引导的多视点特征整合方法和渐进式渲染管道通过提供完整的几何体积和预测的密度值来显著提高多个泛化设置下的综合性能和渲染效率。
Dec, 2021
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。
Mar, 2022
提出了一种基于神经辐射场和几何引导注意力机制的方法来合成高保真度的自由视点图像,并通过实验证明其具有更好的合成效果和几何重建精度。
Mar, 2023
本研究提出了一种新的多视角摄影技术和动态神经放射场方法,可用于高保真度地重建人类头部,并从任意时间步长的新视角合成再渲染,并在实验中表现出优异的性能。
May, 2023
我们引入了HumanRF,这是一种4D动态神经场景表示,可以捕获多视角视频输入中运动的全身外观,并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解,我们可以以高压缩比捕获高分辨率细节,并获得长序列的时间上连贯的演员重建。新的多视角数据集ActorsHQ提供高保真度的16个序列的160个相机的12MP镜头素材。我们的HumanRF有效利用了这些数据,在新颖视角合成方面取得了重要进展,实现接近于制作水平的品质。
May, 2023
基于NeRF的人体表演姿态依赖渲染的新方法,通过将辐射场围绕SMPL人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
该论文介绍了Motion-oriented Compositional Neural Radiance Fields(MoCo-NeRF),这是一个通过新颖的非刚性运动建模方法来执行单目人类视频的任意视角渲染的框架。
Jul, 2024