May, 2023

HumanRF：高保真度的运动人体神经辐射场

PDF
TL;DR我们引入了 HumanRF，这是一种 4D 动态神经场景表示，可以捕获多视角视频输入中运动的全身外观，并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解，我们可以以高压缩比捕获高分辨率细节，并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据，在新颖视角合成方面取得了重要进展，实现接近于制作水平的品质。
dynamic neural scene representationfull-body appearance in motiontemporal matrix-vector decompositionhigh-resolution detailsnovel view synthesis
发现论文，激发创造
  • NeuMan: 从单个视频中获取人类神经辐射字段

    本文提出了一个新的框架，用于从野外视频中重建人体和场景，并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型（human 和 scene），并依赖现有方法估计人体和场景的大致几何形状，可以从观察空间创建到无关姿态的规范空间的偏移场，进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。

    Mar, 2022

  • H-NeRF: 人体运动的神经辐射场渲染与时间重建

    本文提出了神经辐射场用于人物运动的渲染和时空（4D）重建，该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合，并应用于人类姿势识别和服装模拟。

    Oct, 2021

  • HumanNeRF：从稀疏输入高效生成人体辐射场

    HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

    Dec, 2021

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • MonoHuman：从单目视频中生成可动的人类神经网络场

    本论文提出了一种名为 MonoHuman 的新型框架，该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场，其利用离线关键帧信息来推断人体不同部位运动的相关特征，使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比，该框架产生的效果更为卓越。

    Apr, 2023

  • 神经人类表现者：学习通用辐射场以进行人类表现渲染

    本研究提出了一种基于人体参数模型学习可泛化神经辐射场的新方法，使用稀疏多视角相机合成任意人类表演的自由视点视频，并在实验中取得了明显的优于以往 NeRF 方法的表现。

    Sep, 2021

  • NeuralHumanFVV：使用 RGB 相机进行实时神经体积人表现渲染

    本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统，采用分层采样策略以及新颖的神经混合方案，能够在新视角下生成高质量的几何和逼真的贴图结果，实现了高质量的四维重建和逼真的自由视点重建。

    Mar, 2021

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • GHNeRF：学习具有高效神经辐射场的通用人类特征

    GHNeRF 是一种新颖的方法，通过学习 2D/3D 人体关节位置与 NeRF 表示来解决 3D 人体表示中缺乏的关键信息，以实现对人体生物力学特征的编码，并得到接近实时的最先进结果。

    Apr, 2024

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020