ECCVMar, 2022

P-STMO: 预训练的时空多对一模型用于三维人体姿态估计

PDF
TL;DR本文介绍了一种新颖的预训练空间时间多对一模型 (P-STMO)，用于 2D 到 3D 人体姿势估计任务。在第一阶段中，提出了一种自监督预训练子任务，称为遮盖姿态建模，以减少捕捉空间和时间信息的难度。在第二阶段中，加载预先训练的编码器到 STMO 模型进行微调。我们的方法在两个基准测试中表现出优于现有技术的性能。
pre-trainedspatial temporal many-to-onehuman pose estimationself-superviseddenoising auto-encoder
发现论文，激发创造
  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 一种基于专家混合的三维人体动作预测方法

    本研究通过复制现有的最先进（SOTA）时空转换器模型，以尽可能符合计算限制，并批判性评估现有模型架构的优势和改进机会，以解决实时推理速度挑战，并在空间 - 时间 (ST) 关注层中引入专家混合 (MoE) 块来提高模型容量和降低推理成本。

    May, 2024

  • MixSTE: 用于视频中 3D 人体姿态估计的 Seq2seq 混合时空编码器

    本文提出了一种叫做 MixSTE 的混合的时空编码器，该编码器通过时间和空间变换块分别对每个关节的运动进行建模以及学习关节之间的空间相关性，可在 3D 人体姿态估计任务上取得更好的性能表现。

    Mar, 2022

  • MPM: 通过遮罩姿态建模实现统一的二维 - 三维人体姿态表示

    本文提出了一种通过掩蔽姿态建模实现统一的 2D-3D 人体姿态表示框架 MPM，该框架通过使用单流的基于 Transformer 的人类姿势表示和三个预训练任务，能够在一个单一框架中处理包括 3D 人体姿态估计、来自遮挡 2D 姿势的 3D 姿势估计和 3D 姿势完成。研究者在几个广泛使用的人体姿势数据集上进行了广泛的实验和消融研究，并在 Human3.6M 和 MPI-INF-3DHP 上实现了最先进的性能。

    Jun, 2023

  • PoseNet3D: 通过知识蒸馏学习具有时间一致性的三维人体姿势

    提出使用神经网络框架 PoseNet3D 将二维关节作为输入，输出三维骨架和 SMPL 体模型参数，通过在学生 - 教师框架下的学习方法，无需使用任何 3D 数据进行训练，结果表明与之前的无监督方法相比，该方法将 3D 关节预测误差降低了 18％。

    Mar, 2020

  • SoloPose: 基于视频数据增强的一次性运动学 3D 人体姿势估计

    本文介绍了 SoloPose，一种新颖的一次性、多对多的时空转换模型，用于视频中的运动学 3D 人体姿势估计。SoloPose 进一步加强了 HeatPose，一种基于高斯混合模型分布的 3D 热图，它对目标关键点和动力学相邻关键点进行因素分解。最后，我们通过 3D AugMotion 工具包解决了数据多样性限制问题，该方法通过将四个顶级公共 3D 人体姿势数据集（Humans3.6M、MADS、AIST Dance++、MPI INF 3DHP）投影到一个新的数据集（Humans7.1M）中，使用了一个通用的坐标系统。在 Human3.6M 和增强的 Humans7.1M 数据集上进行了大量实验证明，SoloPose 相对于最先进的方法具有优越的结果。

    Dec, 2023

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 利用时间信息进行三维姿态估计

    本文提出了一种基于 LSTM 网络，使用时间信息提高 2D 关节点坐标序列估算 3D 姿势的鲁棒性和一致性，实验在 Human3.6M 上提高了 12.2% 的精度。

    Nov, 2017

  • 构建时空 Transformer 用于自我中心三维姿态估计

    本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

    Jun, 2022

  • RTMO: 高性能一阶段实时多人姿势估计

    RTMO 是一个一阶姿势估计框架，通过在 YOLO 架构中使用双 1-D 热图来表示关键点，实现了与自顶向下方法相当的准确性，同时保持了较高的速度。它采用了动态坐标分类器和定制的损失函数来解决坐标分类和密集预测模型之间的不兼容性。RTMO 在 COCO val2017 上达到了 74.8% 的平均精度（AP），在单个 V100 GPU 上实现了 141 FPS 的高效和准确性。

    Dec, 2023