单目视频中的接触与人类动力学
本研究利用物理引擎对姿态估计过程进行改进,从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景,并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果,同时不需要重新训练。
May, 2022
本文提出了一种从单个 RGB 视频自动重建与对象的人交互的 3D 运动的方法,估计人和物体的 3D 姿势,接触位置,被人类肢体激活的力和扭矩,方法主要集中在联合估计运动和动作力,运用大规模的轨迹优化问题,并且从输入视频自动识别出人与物体或地面之间的接触位置和时间,于真实数据集上验证了方法并展示了它在新的互联网视频数据集中的性能。
Apr, 2019
通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型,该方法通过可微分的方式实现了物理约束和接触关系优化,并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。
Sep, 2021
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本研究提出了一种利用 D&D 学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构 3D 人体运动,并通过概率接触扭矩和基于注意力的 PD 控制来实现弱监督的接触状态,从而在大规模 3D 人体运动基准测试中表现出优越的性能。
Sep, 2022
介绍了一种新的可训练系统,用于物理上合理的无标记 3D 人体运动捕捉,称之为 physionical,该系统在多种具有挑战性的场景下实现了最新技术的结果,其输入为 2D 关节关键点,能够在交互帧速率中生成平滑而物理明确的 3D 动作。
May, 2021
我们介绍了一种重建第二人称 3D 人体网格时间序列的新任务,并通过优化方法的应用解决了视角独特的自我中心视频人体捕捉的技术难题,从而比之前的单眼视频人体动作捕捉方法更准确地估计人体姿态和形状。
Nov, 2020
提出了一种基于生物力学的新型网络,利用两个输入视图直接输出三维运动学,通过合成数据集 ODAH 进行训练,实验证明该方法在多个数据集上超过了现有先进方法,为提升基于视频的人体动作捕捉提供了有前景的方向。
Feb, 2024
我们提出了一种新的深度学习方法,用于两个骨骼之间的运动增强,能够在保留两个身体之间的关键几何 / 拓扑关系的同时,生成不同身体大小和比例的接触丰富的互动的变化。我们的系统能够从相对少量的数据中有效学习,并且能够推广到截然不同的骨架尺寸。通过详尽的评估和比较,我们展示它可以生成高质量的运动,具有较强的通用性,并且优于传统的基于优化的方法和其他深度学习解决方案。
Apr, 2024
MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络,通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列,并在 3D 位置上应用正向运动学,使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。
Jun, 2020