ICCVJul, 2023

TransHuman：基于 Transformer 的能够推广使用的神经人类表现

PDF
TL;DR通过使用 Transformer 和 Deformable Partial Radiance Fields 进行编码和融合，本研究提出了一种名为 TransHuman 的新框架，用于处理不同角色的多视角视频中的动态人体运动。在 ZJU-MoCap 和 H36M 的广泛实验中，TransHuman 实现了具有高效率的显著性能的新的最先进成果。
generalizable neural human renderingconditional neural radiance fieldssparseconvnettranshumantransformers
发现论文，激发创造
  • 神经人类表现者：学习通用辐射场以进行人类表现渲染

    本研究提出了一种基于人体参数模型学习可泛化神经辐射场的新方法，使用稀疏多视角相机合成任意人类表演的自由视点视频，并在实验中取得了明显的优于以往 NeRF 方法的表现。

    Sep, 2021

  • HumanNeRF：从稀疏输入高效生成人体辐射场

    HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

    Dec, 2021

  • 语义人体：从单目视频中的人体解析进行人体神经渲染

    本文介绍了 Semantic-Human 这一新颖方法，通过扩展 NeRF 以共同编码语义、外观和几何来实现 2D 语义标签，从而实现神经渲染方法下的人体解析，并在连续和新视图中实现一致的人体解析。

    Aug, 2023

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022

  • 从纹理空间中为 NeRFs 进行动画：一种基于姿态的人类表演渲染框架

    基于 NeRF 的人体表演姿态依赖渲染的新方法，通过将辐射场围绕 SMPL 人体模型进行扭曲，实现了新的表面对齐表示，可以通过骨骼关节参数和视点来实现动画化，并通过引入新的重新映射过程来实现高质量渲染。

    Nov, 2023

  • NeuMan: 从单个视频中获取人类神经辐射字段

    本文提出了一个新的框架，用于从野外视频中重建人体和场景，并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型（human 和 scene），并依赖现有方法估计人体和场景的大致几何形状，可以从观察空间创建到无关姿态的规范空间的偏移场，进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。

    Mar, 2022

  • MonoHuman：从单目视频中生成可动的人类神经网络场

    本论文提出了一种名为 MonoHuman 的新型框架，该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场，其利用离线关键帧信息来推断人体不同部位运动的相关特征，使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比，该框架产生的效果更为卓越。

    Apr, 2023

  • PixelHuman: 从少量图像生成可动画的神经辐射场

    提出了 PixelHuman，一种新颖的人类渲染模型，可以从几张具有未知身份、视角和姿势的人的图像中生成可动画的人类场景，并通过神经辐射场和姿势感知像素对齐特征合成每个目标场景，在几张图像中实现了多视角和新颖姿势合成的最新性能。

    Jul, 2023

  • GHNeRF：学习具有高效神经辐射场的通用人类特征

    GHNeRF 是一种新颖的方法，通过学习 2D/3D 人体关节位置与 NeRF 表示来解决 3D 人体表示中缺乏的关键信息，以实现对人体生物力学特征的编码，并得到接近实时的最先进结果。

    Apr, 2024

  • TriHuman: 实时可控的三平面表示法用于详细人体几何和外观合成

    通过视频数据创建可控、逼真、几何详细的数字化人类复制品是计算机图形学和视觉领域的关键挑战，特别是当需要实时性能时。最近的方法将神经光辐射场（NeRF）附加到关节结构上，如身体模型或骨骼，将点映射到姿势规范空间，同时条件化 NeRF 的骨骼姿势。我们提出了 TriHuman，一个新的人体定制、可变形和高效的三平面表示方法，实现了实时性能、最先进的姿势控制几何合成以及逼真的渲染质量。在核心部分中，我们非刚性地将全局光线采样变形到无变形的三平面纹理空间中，这有效解决了将全局点映射到相同三平面位置的问题。然后，我们展示了如何将这种三平面特征表示方法与骨骼运动相关联，以考虑动态外观和几何变化。我们的结果表明，对于人体的几何和外观建模以及运行时间性能，有了明显的质量提升。

    Dec, 2023