实时 PD 控制下的自我姿势估计和预测
提出一种物体感知的三维自我中心姿态估计方法,通过运动学建模、动力学建模和场景中物体的信息紧密集成,在物体感知的基础上估计出物理上合理的三维人体 - 物体交互姿态,并在受控实验和现实场景中进行评估。
Jun, 2021
本研究提出了一个基于深度强化学习的主动姿态估计架构,其学习选择适当的视角,在时间和空间上移动来提高其估计精度,并通过 Panoptic 多视图设置的广泛实验表明,与多视图基线相比,我们的模型学习选择的视角可以显著提高姿态估计的准确性。
Jan, 2020
提出了一种新的基于增强学习的姿势预测模型,结合行为克隆和生成对抗学习,通过这种模型对未来的人体姿势进行预测,实验结果表明该模型在短期和长期预测方面优于现有方法。
Sep, 2019
该研究介绍了一种新方法,利用头部运动作为中间表示,将三维人体运动的预测分解为两个阶段,并使用条件扩散生成多个可能的全身动作,消除了需要训练配对数据集的需求,可以分别利用大规模的追踪数据集和运动捕捉数据集。
Dec, 2022
本文提出了一种名为 EgoPoser 的方法,通过重新思考基于头戴式设备的自我姿态估计的输入表示以及引入一种新的运动分解方法,在不依赖全局位置的情况下预测全身姿态,仅通过头戴式设备的视野内的间歇性手部位置和方向跟踪鲁棒地建模身体姿势,并且针对不同用户的各种身体尺寸进行了泛化。实验证明,EgoPoser 在质量和数量上都胜过了现有的方法,并且推断速度高达每秒超过 600 帧。EgoPoser 为未来的工作奠定了坚实的基础,不再需要依赖外部捕捉并能在大场景环境中扩展全身姿势估计。
Aug, 2023
本研究提出了一种方法,用于在自我视角下联合预测人体上多个关键点的空间位置,以预测人的步行姿势,包括使用最新模型生成嘈杂标注和使用 Quasi RNN 作为骨干的层次化轨迹预测网络等,获得在自我视角下预测人体步行姿势方面的最新结果。
Nov, 2019
本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染,使神经网络可以对渲染结果进行优化,从而获得了令人满意的结果。
Oct, 2022
通过强化学习,使用 2D 图像注释作为微弱监督的 6D 姿态信息,我们构建了一个无需真实世界 6D 标签的 6D 姿态微调模型,从而实现了优化姿态模型的有效方法。
Feb, 2021
通过使用新的基于 transformer 模型的框架,结合场景信息和长时空上下文,利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态,并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。
Dec, 2023
通过利用环境的动态运动和静态构造特征,以及能够推断身体姿态序列的新型最小化能量模型,我们提出了一种高效的基于学习的方法来推断佩戴 egocentric 相机的人体姿态的 3D 关节位置,进一步改进了基于深度学习的图像直接姿态回归等可能的替代方案。
Mar, 2016