基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

CVPRMay, 2022

基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

Trajectory Optimization for Physics-Based Reconstruction of 3d Human Pose from Monocular Video

Erik Gärtner, Mykhaylo Andriluka, Hongyi Xu, Cristian Sminchisescu

TL;DR本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

Abstract

We focus on the task of estimating a physically plausible articulated human motion from monocular video. Existing approaches that do not consider physics often produce temporally inconsistent output with motion artifacts, while state-of-the-art physics-based approaches have either been shown to work only in controlled laboratory conditions or consider simpli

articulated human motion physics engine trajectory optimization physical body model ground properties

发现论文，激发创造

单目视频中的接触与人类动力学

本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

Jul, 2020

基于物理的视频人体运动估计和合成

通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

Sep, 2021

基于物理引导的姿态概率建模的人体动作捕捉

将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题，并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作，实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。

Aug, 2023

利用时间上下文对野外三维人体姿态估计进行改进

该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

May, 2019

从单目视频中估计人 - 物交互的 3D 运动和力量

本文提出了一种从单个 RGB 视频自动重建与对象的人交互的 3D 运动的方法，估计人和物体的 3D 姿势，接触位置，被人类肢体激活的力和扭矩，方法主要集中在联合估计运动和动作力，运用大规模的轨迹优化问题，并且从输入视频自动识别出人与物体或地面之间的接触位置和时间，于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。

Apr, 2019

从野外视频中分离人类与摄像机运动

本研究提出了一种从野外视频中重建全球人类轨迹的方法，该优化方法将相机和人类运动解耦，减少背景像素对推断 3D 人类运动的影响，使用数据驱动的先验信息来恢复全局人类轨迹。

Feb, 2023

单目视频中全三维网格人体姿态的时间连续恢复

该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

Jun, 2019

通过三维场景支撑从自我中心视频中捕获四维人体

我们介绍了一种重建第二人称 3D 人体网格时间序列的新任务，并通过优化方法的应用解决了视角独特的自我中心视频人体捕捉的技术难题，从而比之前的单眼视频人体动作捕捉方法更准确地估计人体姿态和形状。

Nov, 2020

从运动补偿序列中直接预测 3D 身体姿态

本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。

Nov, 2015

单目视频和稀疏惯性测量单元的混合三维人体姿态估计

我们提出了一个新的框架（Real-time Optimization and Fusion，RTOF），通过将稀疏惯性方向信息与参数化的人体骨骼结构相结合，优化并融合视觉和惯性观测数据，从而实现对时态三维人体姿势的准确估计和干扰问题的解决，提供平滑及生物力学合理的人体动作估计结果，并通过全面实验与消融研究验证了其合理性和效率。

Apr, 2024