May, 2019

利用半参数学习单个 RGBD 相机对人体进行体积捕捉

PDF
TL;DR提出使用一台 RGBD 相机综合已获取的图像数据生成自由视角视频的方法。该方法通过半参数模型结合深度神经网络的技术实现 4D 表演捕捉，从而为 AR / VR 内容生成提供高逼真度的渲染效果。
4d performance capturefree viewpoint renderingssingle rgbd cameraneural networksemi-parametric model
发现论文，激发创造
  • Function4D：基于极稀疏消费级 RGBD 传感器的实时人体体积捕获

    本文提出了一种结合时间体积融合和深度隐式函数的人体体积捕捉方法，该方法不仅可以实现高质量、连续的重建，而且可以生成包含几何细节和更加逼真的纹理结果的细节保留深度隐式函数，实验结果表明，该方法在稀疏视角、泛化能力、重建质量和运行效率方面优于现有方法。

    May, 2021

  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • 从单目 RGB 视频学习个性化、高质量的立体头像

    本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

    Apr, 2023

  • 在复杂的人物 - 物体交互下进行神经自由视角性能渲染

    本论文提出了一种神经人体表现捕捉和渲染系统，以实现高质量的几何和逼真的纹理重建，尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略，同时进行体积重建和神经渲染人和物体，提出了交互感知的人 - 物捕捉方案，同时提出了以人为重点的物体跟踪，在自由视点下实现了高质量的几何和纹理重建。

    Aug, 2021

  • NeuralHumanFVV：使用 RGB 相机进行实时神经体积人表现渲染

    本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统，采用分层采样策略以及新颖的神经混合方案，能够在新视角下生成高质量的几何和逼真的贴图结果，实现了高质量的四维重建和逼真的自由视点重建。

    Mar, 2021

  • 稀疏 RGB 相机实时自由视点渲染的全息传输人物

    我们提出了第一种方法，可以实时以前所未有的 4K 分辨率渲染穿着常规服装的人体演员的极其逼真的自由视点视频。

    Dec, 2023

  • 单目实时体积表演捕捉

    本研究通过引入 PIFu 算法和使用表面本地化算法以及在线难例挖掘技术，从而在不需要昂贵的多视图系统或繁琐的预定义模型的情况下，从单眼视频中实时捕捉和渲染了一个完整的实纹三维人体。

    Jul, 2020

  • 一种低成本、灵活和便携的立体捕捉系统

    通过最新的 RGB-D 传感器技术，设计、开发并公开提供一种基于多视角捕捉的系统，该系统具有便携、易于使用的外部校准方法，大大降低了所需的工作量和知识水平，并简化了整个过程。

    Sep, 2019

  • 高精度人体重建的体积视频

    通过优化深度学习多视图立体网络来估计深度图，并采用滤波、融合等后处理方法，实现了高保真度的人体重建。

    Feb, 2022

  • 多视角非标定深度相机下的多人三维姿态估计

    利用稀疏的未校准深度相机提供的 RGBD 视频流，我们提出了一种简单的多视角深度人体姿态估计 (MVD-HPE) 管线，用于联合预测相机姿态和 3D 人体姿态，无需训练深度 3D 人体姿态回归模型。

    Jan, 2024