Jul, 2024
HOIMotion: 使用自我中心的3D物体边界框预测人与物体交互中的人体动作
HOIMotion: Forecasting Human Motion During Human-Object Interactions
Using Egocentric 3D Object Bounding Boxes
TL;DRHOIMotion利用过去的人体姿势和视角3D物体边界框信息进行人体运动预测，通过编码器-残差图卷积网络和多层感知器从姿势和物体特征中提取特征，将姿势和物体特征融合成新颖的姿势-物体图，并使用残差解码器图卷积网络预测未来的人体运动。我们在Aria数字孪生（ADT）和MoGaze数据集上广泛评估了我们的方法，并显示HOIMotion在关节位置误差平均值方面相较于最先进的方法取得了高达8.7％（ADT）和7.2％（MoGaze）的显著改进。为了补充这些评估结果，我们报告了一项人类研究（N=20），表明我们的方法的改进使预测的姿势被认为比现有方法更精确和更逼真。综上所述，这些结果揭示了视角3D物体边界框对人体运动预测的重要信息内容以及我们的方法在利用该信息方面的有效性。