Jul, 2022

MotionMixer: 基于MLP的三维人体姿态预测

HTML
PDF
TL;DR本文提出了MotionMixer，这是一种高效的三维人体姿势预测模型，完全基于多层感知器。通过顺序混合两种模态，MotionMixer学习了空间-时间三维身体姿势之间的依赖关系。通过使用squeeze-and-excitation (SE)块来校准姿势序列中每个时间步的影响，我们在Human3.6M、AMASS和3DPW数据集上使用标准评估协议评估了我们的方法，并展示了最先进的性能。
发现论文，激发创造
  • 从静态图像预测人类动态

    研究使用单个RGB图像预测人体动态，提出了3D Pose Forecasting Network(3D-PFNet)，结合2D预测和3D空间，在多样化的数据源下进行了三步训练，展示了在2D姿势预测和3D姿势恢复上有竞争力的性能结果。

    Apr, 2017

  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断3D人体运动，该方法利用初始的2D和3D姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 我们不仅仅是我们的关节：预测3D身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过MOJO模型生成高频成分的动画，使用SMPL-X模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • 生成平滑的姿势序列以进行多样化的人体动作预测

    本文中提出了一种统一的深度生成网络，用于多样化和可控的人体运动预测，该网络基于正则化流姿势先验和关节角损失函数，能够有效地提高模型的准确性和样本多样性。

    Aug, 2021

  • 回到 MLP：人体动作预测的简单基线

    本研究提出了一种轻量级的人体运动预测网络“siMLPe”，结合了多层感知器、离散余弦变换、关节残差位移预测和速度辅助损失优化等简单方法，且具有仅有0.14万个参数和超过三个基准数据集的卓越表现，成为该领域的强基准。

    Jul, 2022

  • 多人姿势预测的轨迹感知身体交互变换器

    本文提出了一种称之为TBIFormer的新型多人姿态预测框架，利用社交身体相互作用自我关注机制和轨迹感知相对位置编码来高效地建模身体部位间的交互影响，实验结果表明，在短时和长时预测上，该方法在CMU-Mocap、MuPoTS-3D和合成数据集方面，都显著优于现有的其他方法。

    Mar, 2023

  • 二体姿态预测的最佳实践

    本文主要研究多人互动姿势的预测任务，其采用了基于频率输入表示、时空可分离和全可学习交互邻接框架，并且对2个人进行预测时，可以显著提高性能。与此同时，该文还提出了针对编码器的新的空间交互参数初始化方法，从而提高了性能和稳定性。

    Apr, 2023

  • Motion-X：大规模三维表现全身人体运动数据集

    该研究介绍了 Motion-X 数据集及其构建方法，包含全身运动数据、姿态描述、语义标注等，采用高精度、低成本、可扩展的自动化流程进行数据标注，旨在提高生成自然、多样、表达丰富的运动以及进行3D人体网格恢复的能力。

    Jul, 2023

  • 3D全身人体动作的表达性预测

    通过Encoding-Alignment-Interaction（EAI）框架提出了一种全身人体姿势预测任务，能够协同预测未来的身体和手部活动，从而实现对三维全身人体动作的表达性和跨领域的预测。

    Dec, 2023

  • HOIMotion: 使用自我中心的3D物体边界框预测人与物体交互中的人体动作

    HOIMotion利用过去的人体姿势和视角3D物体边界框信息进行人体运动预测，通过编码器-残差图卷积网络和多层感知器从姿势和物体特征中提取特征，将姿势和物体特征融合成新颖的姿势-物体图，并使用残差解码器图卷积网络预测未来的人体运动。我们在Aria数字孪生（ADT）和MoGaze数据集上广泛评估了我们的方法，并显示HOIMotion在关节位置误差平均值方面相较于最先进的方法取得了高达8.7％（ADT）和7.2％（MoGaze）的显著改进。为了补充这些评估结果，我们报告了一项人类研究（N=20），表明我们的方法的改进使预测的姿势被认为比现有方法更精确和更逼真。综上所述，这些结果揭示了视角3D物体边界框对人体运动预测的重要信息内容以及我们的方法在利用该信息方面的有效性。

    Jul, 2024