Aug, 2017

从单目视觉中捕捉人类表演

PDF
TL;DR本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。
performance capture3d reconstructionmonocular videonon-rigid deformationconvolutional neural network
发现论文，激发创造
  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018

  • DeepCap: 单目弱监督下的人体表现捕捉

    本文介绍了一种基于深度学习的单目稠密人体动作捕捉方法，利用多视角监督训练来消除了需要 3D 地面实况注释训练数据的需求，且通过将任务分离为姿势估计和非刚性面变形两个步骤使得其在质量和鲁棒性方面优于现有技术。

    Mar, 2020

  • MonoCap: 基于 CNN 和几何先验的单目人体动作捕捉

    本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

    Jan, 2017

  • HiFECap：单目高保真和表现力人体动作捕捉

    HiFECap 是新的神经人员表现捕捉方法，从单个 RGB 视频中同时捕捉人体姿态、服装、面部表情和手部姿势。该方法表现优于现有表现捕捉方法，首次捕捉到人体的全部细节。

    Oct, 2022

  • PhysCap: 实时单目 3D 运动捕捉的物理可信解决方案

    本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

    Aug, 2020

  • SportsCap：具挑战性运动视频中单目 3D 人体动作捕捉与细粒度理解

    本论文提出了一种名为 SportsCap 的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作，并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

    Apr, 2021

  • 使用稀疏的多视角相机进行多个角色的性能捕捉

    DeepMultiCap 是一种新颖的方法，用于使用稀疏多视角相机进行多人表演捕捉，其中结合了像素对齐的隐式函数和参数模型以实现对无形表面区域的鲁棒重建，以及有效的注意力感知模块以获取多视角图像中的细节。

    May, 2021

  • 单目视频中全三维网格人体姿态的时间连续恢复

    该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

    Jun, 2019

  • 单目实时体积表演捕捉

    本研究通过引入 PIFu 算法和使用表面本地化算法以及在线难例挖掘技术，从而在不需要昂贵的多视图系统或繁琐的预定义模型的情况下，从单眼视频中实时捕捉和渲染了一个完整的实纹三维人体。

    Jul, 2020

  • 增强时空上下文：单目视频中具有时态一致性的稳健 3D 人体动作恢复

    提出了一种从单眼视频中恢复时间一致的 3D 人体姿势、形状和动作的方法，通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化，结合自相似性和自注意力等技术进行时空特征聚合，该方法提供了增强的时空上下文，可在各种复杂场景下得到更准确的姿势估计和形状重建。

    Nov, 2023