May, 2022

基于物理学的轨迹优化算法，从单目视频重建3D人体姿态

HTML
PDF
TL;DR本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。
发现论文，激发创造
  • 从单目视频中估计人-物交互的 3D 运动和力量

    本文提出了一种从单个RGB视频自动重建与对象的人交互的3D运动的方法，估计人和物体的3D姿势，接触位置，被人类肢体激活的力和扭矩，方法主要集中在联合估计运动和动作力，运用大规模的轨迹优化问题，并且从输入视频自动识别出人与物体或地面之间的接触位置和时间，于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。

    Apr, 2019

  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断3D人体运动，该方法利用初始的2D和3D姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 具有物理意识的神经单目三维人体运动捕捉

    介绍了一种新的可训练系统，用于物理上合理的无标记3D人体运动捕捉，称之为physionical，该系统在多种具有挑战性的场景下实现了最新技术的结果，其输入为2D关节关键点，能够在交互帧速率中生成平滑而物理明确的3D动作。

    May, 2021

  • 一个稀疏约束的优化方案，用于3D人体姿势与形态估计的复兴

    该研究提出了一种新颖的基于稀疏约束的3D人体姿态和形状估计方法，通过高效计算 Gauss-Newton 方向并利用优化问题的稀疏约束性质，将优化时间缩短到4ms左右，并成功地将其应用于单张图像的实时运动捕捉领域。

    May, 2021

  • 基于物理的视频人体运动估计和合成

    通过单眼RGB视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 可微关节式三维人体动作重建动力学

    DiffPhy是一种可微的基于物理的模型，用于从视频重建人体的关节3D运动，可通过基于图像的损失函数进行直接梯度优化

    May, 2022

  • 从动态摄像头中学习人类动态学

    本研究提出了一种利用D&D学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构3D人体运动，并通过概率接触扭矩和基于注意力的PD控制来实现弱监督的接触状态，从而在大规模3D人体运动基准测试中表现出优越的性能。

    Sep, 2022

  • 基于直觉物理的3D人体姿态估计

    本研究描述了一种新方法——IPMAN，通过将3D SMPL身体与场景交互生成压力热图、Center of Pressure和Center of Mass来估计3D人体，以此加强地面接触和稳定性。它的优势在于易于实现、计算速度快、可导和适用于现有的优化和学习框架。该方法在评估中表现更具说服力，并且可以针对多姿势的情况提高准确性。

    Mar, 2023

  • 基于物理引导的姿态概率建模的人体动作捕捉

    将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题，并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作，实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。

    Aug, 2023

  • 基于物理的人体运动捕捉的最优状态动态估计

    本研究针对单目视频中的人体运动捕捉技术中常见的时间伪影和运动不平滑等问题，提出了一种新颖的方法，通过结合物理模型与运动学观察，实现动态估计。研究表明，这种在线平衡运动学输入与模拟运动的控制循环方法，提高了人体姿态的物理合理性和全局运动轨迹的准确性。

    Oct, 2024