May, 2024

多模态感知驱动的三维人体动作预测

PDF
TL;DR未来人体姿势预测是机器智能的基本应用，本研究引入了一种新的多模态感知驱动的运动预测方法，通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成，同时考虑人的意图和场景的语义连贯性，该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。
human pose predictionmachine intelligencemulti-modal sense-informed motion predictionhuman intentionsemantic coherence-aware attention
发现论文，激发创造
  • 基于场景上下文的人类长期动作预测

    本文通过提出新的三阶段框架来对人类运动进行长期预测，在考虑环境场景的情况下大大提高了预测准确性，并提供了具有清晰注释的多样化合成数据集来实现稳定的训练和严格的评估。

    Jul, 2020

  • 仅依靠动作预测人类意图：一种 2D+3D 融合方法

    本文提出一种新的多模态数据预测人类意图的方法，通过机器学习算法分析运动学信息、运用分类任务进行实验验证、结合 3D 和 2D 数据以及 2D+3D 融合分析，成功预测出未来的动作，展示了多模态方法在上下文无关的人类意图预测中的优越性。

    May, 2016

  • 基于场景感知的人体动作预测与互相距离预测

    本文介绍了一种关于场景感知的三维人体动作预测的方法，通过建模人与场景之间的相互作用，通过人与场景之间的相互距离来约束人体的局部和全局运动，提出的方法在合成和真实数据集上的表现优于现有方法。

    Oct, 2023

  • 能够看到的机器人：利用人体姿势进行轨迹预测

    通过使用 Transformer 架构，从人体位置、头部朝向和三维关键点等输入特征来预测人类在人类中心环境中未来的轨迹，该模型捕捉了未来人类轨迹预测中的内在不确定性，并在常见预测基准和适用于预测任务的移动机器人跟踪数据集上取得了最先进的性能。在这种具有挑战性场景中，我们发现历史数据有限的新主体是错误的主要来源，并展示了三维骨骼姿势在减少预测误差方面的互补性。

    Sep, 2023

  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020

  • GazeMotion: 凝视引导的人体动作预测

    GazeMotion 是一种结合过去人体姿势和人眼注视信息进行人体动作预测的新方法，通过预测未来眼睛注视点并将其与过去的姿势融合成注视 - 姿势图，再利用残差图卷积网络预测身体运动。在多个基准数据集的评估中，我们的方法在关节位置误差的平均改进上超过了最先进的方法 7.4％。即使使用头部方向作为眼睛注视的替代，我们的方法的平均改进率也达到了 5.5％。我们还通过在线用户研究展示了我们方法在感知逼真度方面超过之前方法的结果。这些结果展示了眼睛注视在人体动作预测中的重要信息内容以及我们方法在利用这些信息方面的有效性。

    Mar, 2024

  • 上下文感知的人体动作预测

    本文利用语义图模型和图注意力层来建立上下文感知体系结构，旨在正确建模人类行为中的对象和人际互动以提高人类运动的预测准确性。通过在全身人类动作数据库上进行的彻底评估，论文显示出模式的优越性。

    Apr, 2019

  • 在 3D 室内场景中合成多样的人体动作

    提出了一种基于强化学习的方法来处理 3D 室内场景中虚拟人类与环境以及物体的交互，包括生成运动模型、创新的碰撞回避奖励函数、基于标记体和半径场的交互感知奖励函数以及训练策略等多个方面，实验结果表明，该方法在运动的自然性和多样性方面都优于现有的人 - 场景交互综合框架。

    May, 2023

  • 随机场景感知运动预测

    该研究提出了一种新的数据驱动的、随机的运动综合方法 SAMP，该方法可以模拟在杂乱场景中表现不同风格的行为，通过训练 MoCap 数据可以实现优秀的表现。

    Aug, 2021

  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020