Mar, 2024

GazeMotion: 凝视引导的人体动作预测

PDF
TL;DRGazeMotion 是一种结合过去人体姿势和人眼注视信息进行人体动作预测的新方法，通过预测未来眼睛注视点并将其与过去的姿势融合成注视 - 姿势图，再利用残差图卷积网络预测身体运动。在多个基准数据集的评估中，我们的方法在关节位置误差的平均改进上超过了最先进的方法 7.4％。即使使用头部方向作为眼睛注视的替代，我们的方法的平均改进率也达到了 5.5％。我们还通过在线用户研究展示了我们方法在感知逼真度方面超过之前方法的结果。这些结果展示了眼睛注视在人体动作预测中的重要信息内容以及我们方法在利用这些信息方面的有效性。
gazemotionhuman motion forecastinggaze-pose graphresidual graph convolutional networkeye gaze
发现论文，激发创造
  • GazeMoDiff：基于凝视引导的扩散模型用于随机人体运动预测

    人类动作预测是虚拟现实（VR）应用中的重要问题，本论文提出了一种新的注视引导去噪扩散模型（GazeMoDiff），通过学习眼球注视和人体运动之间的时空相关性，生成逼真的人体运动，实验证明本方法在平均位移误差上超过了现有方法。

    Dec, 2023

  • Pose2Gaze: 使用眼体协调模型从全身姿势生成逼真的人类注视行为

    通过对日常活动中人眼和全身动作的协调的全面分析，本研究首次提出了一种新颖的眼睛和身体协调模型 Pose2Gaze，并与其他方法进行了比较，在三项不同生成任务上表现出显著优势，从而突显了跨模态人眼行为分析和建模的巨大潜力。

    Dec, 2023

  • 多模态感知驱动的三维人体动作预测

    未来人体姿势预测是机器智能的基本应用，本研究引入了一种新的多模态感知驱动的运动预测方法，通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成，同时考虑人的意图和场景的语义连贯性，该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。

    May, 2024

  • HOIMotion: 使用自我中心的 3D 物体边界框预测人与物体交互中的人体动作

    HOIMotion 利用过去的人体姿势和视角 3D 物体边界框信息进行人体运动预测，通过编码器 - 残差图卷积网络和多层感知器从姿势和物体特征中提取特征，将姿势和物体特征融合成新颖的姿势 - 物体图，并使用残差解码器图卷积网络预测未来的人体运动。我们在 Aria 数字孪生（ADT）和 MoGaze 数据集上广泛评估了我们的方法，并显示 HOIMotion 在关节位置误差平均值方面相较于最先进的方法取得了高达 8.7％（ADT）和 7.2％（MoGaze）的显著改进。为了补充这些评估结果，我们报告了一项人类研究（N=20），表明我们的方法的改进使预测的姿势被认为比现有方法更精确和更逼真。综上所述，这些结果揭示了视角 3D 物体边界框对人体运动预测的重要信息内容以及我们的方法在利用该信息方面的有效性。

    Jul, 2024

  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020

  • 历史重演：基于动作注意力的人体动作预测

    通过引入基于注意力机制的前馈神经网络模型，提取了历史运动细节的相似性，建模了运动模式，并在人类行为数据集上实现了最先进的人体运动预测效果。

    Jul, 2020

  • 信不信由你，我们知道你在看什么！

    本文提出了一种基于人类凝视追踪思路的两阶段解决方案，集成了神经网络和数据集，有效地预测并追踪目标人物的目光方向，且经过大量实验证明，该方案相对于现有解决方案有明显优势。

    Jul, 2019

  • 人体运动预测的多层动作注意力

    介绍了一种基于注意力机制的前馈神经网络，利用运动的重复性和历史上下文进行运动预测，通过图卷积网络对历史数据的运动模式进行有效利用，取得了三个数据集上最先进的结果。

    Jun, 2021

  • 辅助生活环境下的凝视估计

    本文提出了一种基于单个姿态估计模型采集的面部关键点的相对位置来估计个体注视方向的神经网络回归器，结合目标遮挡情况下的置信度门控单元，实现了对复杂辅助生活环境中居民与周围物体互动的自动推理；实验结果表明，该模型与数据集特定的复杂基线模型相媲美。

    Sep, 2019

  • 利用约束概率人体运动预测增强人机协作

    人体运动预测是高效和安全的人机协作的重要步骤。我们提出了一种新颖的人体运动预测框架，该框架在高斯过程回归模型中结合了人体关节约束和场景约束，以在一定时间范围内预测人体运动。该框架还结合了在线上下文感知约束模型来利用任务相关的运动，并在人机协作设置中使用 UR5 机器人手臂实现了实时性能。模拟和实验结果表明，当明确考虑这些约束条件时，高斯过程框架的性能得到了显著改善。

    Oct, 2023