Aug, 2020

PhysCap: 实时单目 3D 运动捕捉的物理可信解决方案

PDF
TL;DR本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。
3d motion capturemarker-lesskinematicsphysically plausiblereal-time
发现论文，激发创造
  • 具有物理意识的神经单目三维人体运动捕捉

    介绍了一种新的可训练系统，用于物理上合理的无标记 3D 人体运动捕捉，称之为 physionical，该系统在多种具有挑战性的场景下实现了最新技术的结果，其输入为 2D 关节关键点，能够在交互帧速率中生成平滑而物理明确的 3D 动作。

    May, 2021

  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018

  • 从单目视觉中捕捉人类表演

    本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

    Aug, 2017

  • Mo2Cap2：配备鱼眼镜头的帽式相机实时移动三维运动捕捉

    提出了一种新的实时方法，基于单个鱼眼摄像头和轻量级设备设置，通过 CNN 在个人视角测量人体姿态，使得在广泛的日常活动中成为可能。

    Mar, 2018

  • 神经 MoCon: 用于物理合理的人类动作捕捉的神经运动控制

    利用物理模拟器来捕捉人类运动的动力学约束条件，通过基于 SDF 的交互约束来获得准确参考运动，然后使用采样分布进行运动控制，并训练所需的分布先验，从而可以捕捉到具有地形交互、人体形状变化和多样化行为的物理合理的人类运动。

    Mar, 2022

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • MonoCap: 基于 CNN 和几何先验的单目人体动作捕捉

    本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

    Jan, 2017

  • SportsCap：具挑战性运动视频中单目 3D 人体动作捕捉与细粒度理解

    本论文提出了一种名为 SportsCap 的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作，并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

    Apr, 2021

  • HybridCap: 惯性辅助的单目捕捉具有挑战性的人体运动

    本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术，通过仅使用 4 个惯性测量单元的传感器，加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案，可以实现对各种运动的鲁棒跟踪。

    Mar, 2022

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021