IJCAIJul, 2022

MotionMixer: 基于 MLP 的三维人体姿态预测

PDF
TL;DR本文提出了 MotionMixer，这是一种高效的三维人体姿势预测模型，完全基于多层感知器。通过顺序混合两种模态，MotionMixer 学习了空间 - 时间三维身体姿势之间的依赖关系。通过使用 squeeze-and-excitation (SE) 块来校准姿势序列中每个时间步的影响，我们在 Human3.6M、AMASS 和 3DPW 数据集上使用标准评估协议评估了我们的方法，并展示了最先进的性能。
motionmixer3d body pose forecastingmulti-layer perceptronsspatial-temporal dependenciessqueeze-and-excitation blocks
发现论文，激发创造
  • 回到 MLP：人体动作预测的简单基线

    本研究提出了一种轻量级的人体运动预测网络 “siMLPe”，结合了多层感知器、离散余弦变换、关节残差位移预测和速度辅助损失优化等简单方法，且具有仅有 0.14 万个参数和超过三个基准数据集的卓越表现，成为该领域的强基准。

    Jul, 2022

  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • GraphMLP：用于 3D 人体姿态估计的类图像多层感知机结构

    提出了一种简单有效的图强化 MLP-Like 架构，名为 GraphMLP，它将 MLP 和图卷积网络（GCN）结合在一起，用于 3D 人体姿态估计，并将人体的图结构融入到 MLP 模型中，允许局部和全局空间相互作用，实现了对视频和单帧中 3D 人体姿态估计的最新性能。

    Jun, 2022

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • 结构化预测有助于 3D 人体动作建模

    该论文提出了一个新的结构化预测层的方法，该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性，并可以增强运动预测的性能和预测质量，而不受基础网络、关节角度表示和预测时间长度的限制，并在 AMASS 数据集上训练和测试后取得了良好的效果。

    Oct, 2019

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 从运动补偿序列中直接预测 3D 身体姿态

    本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。

    Nov, 2015

  • MixSTE: 用于视频中 3D 人体姿态估计的 Seq2seq 混合时空编码器

    本文提出了一种叫做 MixSTE 的混合的时空编码器，该编码器通过时间和空间变换块分别对每个关节的运动进行建模以及学习关节之间的空间相关性，可在 3D 人体姿态估计任务上取得更好的性能表现。

    Mar, 2022

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015