Jul, 2024

图和跳过的 Transformer：利用空间和时间建模能力进行高效的三维人体姿势估计

PDF
TL;DR在这篇论文中，我们提出了一种全局方法来利用时空信息，采用紧凑的图和跳过 Transformer 架构实现高效的三维人体姿势估计。通过使用自适应拓扑的粗粒度身体部件构建空间图网络，在时序编码和解码阶段，使用简单有效的跳过 Transformer 捕捉长程时序依赖并实现分层特征聚合，同时引入动态信息到二维姿势序列中。通过在 Human3.6M、MPI-INF-3DHP 和 Human-Eva 基准测试集上进行广泛实验证明，G-SFormer 系列方法相比之前的最新技术表现出更好的性能，仅具有约百分之十的参数量和显著降低的计算复杂度。此外，G-SFormer 方法还对检测到的二维姿势不准确表现出卓越的鲁棒性。
2d-to-3d pose upliftinggraph and skipped transformer architecturespatio-temporal informationefficient 3d hpeg-sformer series methods
发现论文，激发创造
  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 多跳图变换网络用于 3D 人体姿势估计

    介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • 基于步长变换器的时序上下文利用在三维人体姿态估计中的应用

    本文提出改进的基于 Transformer 的 Strided Transformer 架构，以简单有效地将冗余的 2D 姿势序列提升到单个 3D 姿势。通过给 Vanilla Transformer 编码器换成步幅卷积的方式，降低了序列的冗余性，同时设计了全 - 单监督方案来约束输出，从而在两个基准数据集上获得了最佳结果并减少了参数。

    Mar, 2021

  • 构建时空 Transformer 用于自我中心三维姿态估计

    本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

    Jun, 2022

  • 姿态导向的不确定性引导下的 Transformer 对 2D 到 3D 人体姿态估计进行精细优化

    本文提出了一种姿势导向的自注意机制和基于距离的位置嵌入的 Pose-Oriented Transformer (POT) 以明确利用人类骨骼拓扑，并通过考虑每个关节的预测不确定度进行不确定性引导的采样策略和自注注意机制来优化 POT 的姿态预测。实验结果表明，在 3D HPE 基准测试中，我们的方法在减少模型参数并且比其他最先进方法的性能显著提高。

    Feb, 2023

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • 基于图形堆叠沙漏网络的三维人体姿态估计

    本文提出了一种新的图卷积神经网络架构，用于 2D 到 3D 人体姿态估计任务，并使用多尺度、多级别特征表示的多尺度架构进行了实验，结果表明该模型优于现有技术，并取得了更好的表现。

    Mar, 2021