AAAIFeb, 2023

姿态导向的不确定性引导下的 Transformer 对 2D 到 3D 人体姿态估计进行精细优化

PDF
TL;DR本文提出了一种姿势导向的自注意机制和基于距离的位置嵌入的 Pose-Oriented Transformer (POT) 以明确利用人类骨骼拓扑，并通过考虑每个关节的预测不确定度进行不确定性引导的采样策略和自注注意机制来优化 POT 的姿态预测。实验结果表明，在 3D HPE 基准测试中，我们的方法在减少模型参数并且比其他最先进方法的性能显著提高。
transformers3d human pose estimationpose-oriented transformeruncertainty guided refinementtopology
发现论文，激发创造
  • 图和跳过的 Transformer：利用空间和时间建模能力进行高效的三维人体姿势估计

    在这篇论文中，我们提出了一种全局方法来利用时空信息，采用紧凑的图和跳过 Transformer 架构实现高效的三维人体姿势估计。通过使用自适应拓扑的粗粒度身体部件构建空间图网络，在时序编码和解码阶段，使用简单有效的跳过 Transformer 捕捉长程时序依赖并实现分层特征聚合，同时引入动态信息到二维姿势序列中。通过在 Human3.6M、MPI-INF-3DHP 和 Human-Eva 基准测试集上进行广泛实验证明，G-SFormer 系列方法相比之前的最新技术表现出更好的性能，仅具有约百分之十的参数量和显著降低的计算复杂度。此外，G-SFormer 方法还对检测到的二维姿势不准确表现出卓越的鲁棒性。

    Jul, 2024

  • 构建时空 Transformer 用于自我中心三维姿态估计

    本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

    Jun, 2022

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 多跳图变换网络用于 3D 人体姿势估计

    介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • 基于扩散的姿态优化与多假设生成的三维人体姿态估计

    我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

    Jan, 2024

  • 几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

    通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • Pose Transformers（POTR）：使用非自回归 Transformer 进行人体动作预测

    该研究提出使用 Transformer 建模实现非自回归人体运动预测，采用串行解码替代基于先前预测的循环神经网络，实现了在序列中并行解码。该方法在短期预测方面具有较高的竞争力。

    Sep, 2021

  • 高效的自监督人体姿势估计与归纳先验调整

    简化中文摘要：本文探讨了改善自监督人体姿势估计的方法，包括分析重建质量与姿势估计准确性的关系，提出了一个优于基准模型的模型流水线，使用不到三分之一的训练数据量，并提出了一种适用于自监督环境的度量，用于衡量预测身体部位长度比例的一致性。结果表明，在自监督范式中，精心设计的重建损失和归纳假设可以帮助协调姿势估计和重建。

    Nov, 2023

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021