Feb, 2023

学习动态人体的神经体积表示，仅需数分钟

PDF
TL;DR本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。
free-viewpoint videosdynamic humansnerf modelsvoxelized human representation2d motion parameterization
发现论文，激发创造
  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • HumanNeRF：从稀疏输入高效生成人体辐射场

    HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

    Dec, 2021

  • 神经体积：从图像中学习动态可渲染的体积

    通过学习，我们提出了一种表示动态物体的方法，该方法由编码器 - 解码器网络和可微分的射线行进操作组成，它不需要明确重建或跟踪物体，使用了 3D 体积表示法，表现出更好的图像质量，为高分辨率应用提供了一种从表面到体积的方法

    Jun, 2019

  • 学习动态人头部的组合辐射场

    本文提出了一种新颖的 3D 组合表示方法，将离散和连续的体积表示方法相结合，结合了粗糙的网格动画代码和连续的学习场景功能，使用可区分的体积渲染来计算动态人头和上半身的新视图，并在使用仅 2D 监督时进行端到端的训练，实现了动态人头和上半身新视图综合的最新最佳结果。

    Dec, 2020

  • 用动态 MLP 地图表示立体视频

    本文提出了一种用于动态场景实时视角合成的体积视频新表示法，通过使用浅层 MLP 网格和共享的 2D CNN 解码器动态预测 MLP 参数，显著提高了渲染速度并降低了存储成本，实验表明，该方法在渲染质量上实现了最先进的水平，同时能够通过 RTX 3090 GPU 以 41.7fps 的速度对 $512 imes 512$ 的图像实时渲染。

    Apr, 2023

  • 混合神经体素用于快速多视角视频合成

    本文提出了一种名为 MixVoxels 的新方法，其通过将 4D 动态场景表示为静态和动态体素的混合，并使用不同的网络对其进行处理，以更好地表示动态场景，并提出了一种新型的变分场来估计每个体素的时间方差，以区分两种体素类型，并采用内积时间查询方法高效地查询多个时间步骤，从而在短时间内训练（15 min）得出比以前的方法更好的 PSNR。

    Dec, 2022

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • 从单目视频重建个性化语义面部 NeRF 模型

    使用神经辐射场的语义模型构建了一个逼真的人脸模型，可用于面部重定向和表情编辑。

    Oct, 2022

  • NeuMan: 从单个视频中获取人类神经辐射字段

    本文提出了一个新的框架，用于从野外视频中重建人体和场景，并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型（human 和 scene），并依赖现有方法估计人体和场景的大致几何形状，可以从观察空间创建到无关姿态的规范空间的偏移场，进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。

    Mar, 2022