CVPRJan, 2022

可控的 3D 人体合成的表面对齐神经辐射场

PDF
TL;DR本研究提出了一种从稀疏的多视角 RGB 视频中重建可控的隐式 3D 人体模型的新方法，使用网格表面点和身体网格的符号距离来定义神经场景表示，并通过改进的顶点法线的重心插值将点投影到网格表面上，实现了更高质量的新视角和新姿势合成，同时支持容易控制的身体形状和服装。
3d human modelsneural scene representationmulti-view rgb videosmesh surface pointsbarycentric interpolation
发现论文，激发创造
  • 可控的人体动作合成的基于点的辐射场

    该论文提出了一种基于静态基于点的辐射场的新颖可控人体动作合成方法，通过编码点云转换来应用变形，并利用奇异值分解估计局部旋转以使渲染结果与规范空间训练一致。实验表明，我们的方法在精细级复杂变形方面明显优于现有技术，且可推广到除人物之外的其他 3D 角色。

    Oct, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 通用神经演算法：学习用于人类新视角合成的鲁棒辐射场

    使用深度学习技术，提出了一种名为 GNR 的通用神经演员框架，通过压缩轻场数据来从几何和外观方面生成新颖的视角下的人体影像，并在多视角摄像机下构建的数据集 GeneBody-1.0 上证明了其鲁棒性和通用性。

    Apr, 2022

  • 可动态展示人类身体的神经辐射场建模

    该论文提出了一种通过神经融合权重场和骨骼驱动变形的方法，从多视角视频中重建可动画的人体模型，相较于现有的人体合成方法，该方法具有显著优势。

    May, 2021

  • VeRi3D：基于顶点的辐射场生成模型用于 3D 可控人体图像合成

    提出了 VeRi3D，一种基于顶点的生成型人体辐射场，通过使用 SMPL 的参数人体模板来实现顶点参数化，从而解决了学习人体生成模型的泛化能力和可控性问题，能够自由地控制相机姿态、人体姿态、形状，以及进行部分级别的编辑，实现了生成逼真的人体图像。

    Sep, 2023

  • NeuMan: 从单个视频中获取人类神经辐射字段

    本文提出了一个新的框架，用于从野外视频中重建人体和场景，并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型（human 和 scene），并依赖现有方法估计人体和场景的大致几何形状，可以从观察空间创建到无关姿态的规范空间的偏移场，进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节，包括服装褶皱和配件，并提供在新视角和新姿势下人体的高质量渲染和背景。

    Mar, 2022

  • 基于单目深度的神经表面场用于人体建模

    通过具有个性化、三维可动角色的单目摄像头获取数据，在建模动态、细粒度服装变形方面存在挑战。本文提出了一种名为 ' 神经表面场 ' 的新方法，用于从单目深度数据中建模穿着服装的三维人物，以超越现有方法的局限性，具有计算效率高、网格连贯性好以及能够重建任意分辨率网格等优势。

    Aug, 2023

  • 神经人类表现者：学习通用辐射场以进行人类表现渲染

    本研究提出了一种基于人体参数模型学习可泛化神经辐射场的新方法，使用稀疏多视角相机合成任意人类表演的自由视点视频，并在实验中取得了明显的优于以往 NeRF 方法的表现。

    Sep, 2021

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021