Jun, 2021

基于动力学调整的自我中心姿态估计运动策略

PDF
TL;DR提出一种物体感知的三维自我中心姿态估计方法，通过运动学建模、动力学建模和场景中物体的信息紧密集成，在物体感知的基础上估计出物理上合理的三维人体 - 物体交互姿态，并在受控实验和现实场景中进行评估。
发现论文，激发创造
  • 深层运动姿态回归

    本文介绍了一种使用动力学模型来辅助深度学习神经网络进行关节式物体姿态估计的方法，并在玩具和人类 3D 姿势问题的数据实验中证明了该方法的有效性。

    Sep, 2016

  • 无监督物体本体运动动力学预测

    我们提出了一种名为 Object-Centric Kinematics (OCK) 的动态预测框架，利用了对象为中心的表示方法，并通过各种转换机制进行综合，以实现有效的对象为中心的动态建模。该模型在处理复杂场景中的对象和背景时表现出卓越的性能，同时在不同的合成环境中展示了泛化能力，突显了它在与视觉相关的任务中的潜力。

    Apr, 2024

  • 实时 PD 控制下的自我姿势估计和预测

    本文提出基于比例微分 (PD) 控制的强化学习策略，从第一人称视角视频中学习估计和预测 3D 人体姿势，同时提出了基于视频条件的递归控制技术和基于价值函数的失效保护机制来提高运行效率，并在控制数据和实际场景中得到了优异的实验结果。

    Jun, 2019

  • 从主体视角视频中估算 3D 身体姿态：看到看不见的姿态

    通过利用环境的动态运动和静态构造特征，以及能够推断身体姿态序列的新型最小化能量模型，我们提出了一种高效的基于学习的方法来推断佩戴 egocentric 相机的人体姿态的 3D 关节位置，进一步改进了基于深度学习的图像直接姿态回归等可能的替代方案。

    Mar, 2016

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • 通过自我头部姿态估计进行自我身体姿态估计

    该研究介绍了一种新方法，利用头部运动作为中间表示，将三维人体运动的预测分解为两个阶段，并使用条件扩散生成多个可能的全身动作，消除了需要训练配对数据集的需求，可以分别利用大规模的追踪数据集和运动捕捉数据集。

    Dec, 2022

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • 基于生物力学模型和合成训练数据的视频中的三维运动学估计

    提出了一种基于生物力学的新型网络，利用两个输入视图直接输出三维运动学，通过合成数据集 ODAH 进行训练，实验证明该方法在多个数据集上超过了现有先进方法，为提升基于视频的人体动作捕捉提供了有前景的方向。

    Feb, 2024

  • You2Me: 通过第一和第二人称交互推断自我中心视频中的身体姿态

    本文提出了一种基于学习的方法，通过与另一个人的互动来估计身穿相机人的三维身体姿态，演示了我们的想法在多个领域的相关应用和视频实现。

    Apr, 2019