可微关节式三维人体动作重建动力学
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动,同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的2D姿态检测器得到伪基础真值2D姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文介绍了一种基于物理模型的方法,用于从视频中推断3D人体运动,该方法利用初始的2D和3D姿态估计作为输入,并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示,相较于纯运动学方法,该方法能够显著地提高动作的真实性和准确性。
Jul, 2020
D3D-HOI是一种包含具有三维物体姿态、形状和部件运动的人-物交互的单目视频的数据集,其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示,可用于评估收缩的对象质量和建立对该挑战性任务的基准。
Aug, 2021
通过单眼RGB视频直接训练具有物理可行性的人体运动的生成模型,该方法通过可微分的方式实现了物理约束和接触关系优化,并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。
Sep, 2021
本研究利用物理引擎对姿态估计过程进行改进,从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景,并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果,同时不需要重新训练。
May, 2022
研究了从RGB视频中重建人与关节物体交互的3D姿态,通过系统性实验验证了五种方法的可行性,结果显示这一任务具有很大挑战性并提出了未来工作方向。
Sep, 2022
本研究提出了一种利用D&D学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构3D人体运动,并通过概率接触扭矩和基于注意力的PD控制来实现弱监督的接触状态,从而在大规模3D人体运动基准测试中表现出优越的性能。
Sep, 2022
将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题,并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作,实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。
Aug, 2023
MultiPhys是一种从单目视频中恢复多人运动的方法,通过使用物理知识来准确捕捉不同程度的人与人之间的协调空间布局,并消除穿透问题和抖动干扰,从而得到既具有动力学一致性又具有物理合规性的最终运动估计结果。
Apr, 2024
本文针对传统物理模拟器在计算机视觉任务中应用的效率不足问题,提出了一种新颖的神经网络方法LARP,旨在实现更快、更便捷的模型。该方法能够高度准确地模拟关节刚体动力学,相比传统系统在并行运行多个模拟时速度提升了一个数量级,且在视频基础重建框架中展示了与先进的经典模拟器相当或更好的3D人类姿态重建精度。
Oct, 2024