基于物理的视频人体运动估计和合成
本文提出了一种在“野外”环境中进行三维人体姿态估计的解决方案,通过生成大量的具有三维姿势标注的逼真合成图像,并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练,成功地在受控环境(Human3.6M)中优于大多数已发表的作品,并在真实图像(LSP)中展现了有前途的结果。
Feb, 2018
本文提出了一种从单个RGB视频自动重建与对象的人交互的3D运动的方法,估计人和物体的3D姿势,接触位置,被人类肢体激活的力和扭矩,方法主要集中在联合估计运动和动作力,运用大规模的轨迹优化问题,并且从输入视频自动识别出人与物体或地面之间的接触位置和时间,于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。
Apr, 2019
本文介绍了一种基于物理模型的方法,用于从视频中推断3D人体运动,该方法利用初始的2D和3D姿态估计作为输入,并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示,相较于纯运动学方法,该方法能够显著地提高动作的真实性和准确性。
Jul, 2020
本文提出了一种新框架,将场景和人体运动相互作用考虑在内,使用生成任务将人体运动的分布因子分解,并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果,涵盖了真实和合成环境。
May, 2021
本研究利用物理引擎对姿态估计过程进行改进,从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景,并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果,同时不需要重新训练。
May, 2022
本研究提出了一种利用D&D学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构3D人体运动,并通过概率接触扭矩和基于注意力的PD控制来实现弱监督的接触状态,从而在大规模3D人体运动基准测试中表现出优越的性能。
Sep, 2022
我们介绍了一种利用稀疏关键点在三维场景中合成动画指导人类运动的方法,该方法通过将连续运动合成问题分解为沿路径行走和在关键点指定的动作之间的转换,生成长序列的动作,并在目标为原点的规范坐标系中生成运动以实现持续运动合成。
Apr, 2023
人体运动生成是生成自然人体姿势序列的目标,具有广泛的实际应用潜力。本文是人体运动生成领域的首篇综述文献,介绍了人体运动和生成模型的背景,并对三个主流子任务(文本条件、音频条件和场景条件的人体运动生成)的代表方法进行了审查。此外,还概述了常见数据集和评估指标,并讨论了开放问题和潜在的未来研究方向。希望该综述能够为社区提供对这个快速发展领域的全面了解,并激发解决尚未解决的挑战的新思路。
Jul, 2023
本研究针对单目视频中的人体运动捕捉技术中常见的时间伪影和运动不平滑等问题,提出了一种新颖的方法,通过结合物理模型与运动学观察,实现动态估计。研究表明,这种在线平衡运动学输入与模拟运动的控制循环方法,提高了人体姿态的物理合理性和全局运动轨迹的准确性。
Oct, 2024