CVPRMar, 2023

PoseFormerV2: 探索频域以实现高效和强韧的 3D 人体姿势估计

PDF
TL;DR本研究提出了一种名为 PoseFormerV2 的新型人体姿态估计方法，借助于在频域上紧凑的骨骼序列表示，以有效地扩大接受域并增强对噪声干扰的鲁棒性，进行时域和频域特征有效融合，相较于原始的 PoseFormer 和其他基于 transformer 的变体有更好的速度 - 准确性平衡。
poseformerv2human pose estimationtransformer-based method2d joint detectionfrequency domain
发现论文，激发创造
  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • HDFormer：用于三维人体姿态估计的高阶有向 Transformer

    本文提出了使用多阶注意力模块与高阶关节关联的高阶有向变换器（HDFormer）进行人体姿势估计的新框架，该框架可以利用细粒度的人体先验知识来弥补现有方法在处理关节点重叠和快速变化时的不足，实现了实时准确的 3D 姿态估计。

    Feb, 2023

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少，用于 3D 人体姿势估计

    本文提出了 ConvFormer：一种新型的卷积变压器，新增了一种动态的多头卷积自注意机制用于单目 3D 人体姿势估计。通过对人体各关节点之间的关系进行建模，利用时间关节特征的新概念进行完全的时间信息融合，成功地在三个基准数据集上实现了 SOTA 水平的结果，相对于以前的变压器模型取得了显著的参数降低。

    Apr, 2023

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • XFormer: 快速准确的单目三维人体捕捉

    XFormer 是一种新型的人体网格和动作捕捉方法，能够仅用单目图像即可实现在普通 CPU 上的实时性能，并能够高效地训练于多种数据集，其关键在于跨模态的 transformer block。

    May, 2023

  • 利用时间信息进行三维姿态估计

    本文提出了一种基于 LSTM 网络，使用时间信息提高 2D 关节点坐标序列估算 3D 姿势的鲁棒性和一致性，实验在 Human3.6M 上提高了 12.2% 的精度。

    Nov, 2017

  • MHFormer：多假设变压器用于三维人体姿态估计

    本文提出了一种名为 Multi-Hypothesis Transformer (MHFormer) 的模型，旨在通过学习多个合理的姿势假设的空时表示，解决单目视频中的 3D 人体姿态估计问题，并在两个具有挑战性的数据集上取得了最新的最优结果。

    Nov, 2021

  • 一个带有上下文的单一 2D 姿势对于 3D 人体姿势估计价值百倍

    使用现有的 2D 姿态检测器产生的中间可视化表示，从而获得姿态的空间上下文信息。通过设计一个名为 Context-Aware PoseFormer 的简单基线方法来展示其有效性，该方法在速度和精度方面明显优于其他使用数百个视频帧的最先进方法。

    Nov, 2023

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020