Feb, 2023

HDFormer：用于三维人体姿态估计的高阶有向 Transformer

PDF
TL;DR本文提出了使用多阶注意力模块与高阶关节关联的高阶有向变换器（HDFormer）进行人体姿势估计的新框架，该框架可以利用细粒度的人体先验知识来弥补现有方法在处理关节点重叠和快速变化时的不足，实现了实时准确的 3D 姿态估计。
human pose estimationhigh-order directed transformermulti-order attention modulefine-grained human body priorsreal-time and accurate 3d pose estimation
发现论文，激发创造
  • MHFormer：多假设变压器用于三维人体姿态估计

    本文提出了一种名为 Multi-Hypothesis Transformer (MHFormer) 的模型，旨在通过学习多个合理的姿势假设的空时表示，解决单目视频中的 3D 人体姿态估计问题，并在两个具有挑战性的数据集上取得了最新的最优结果。

    Nov, 2021

  • ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少，用于 3D 人体姿势估计

    本文提出了 ConvFormer：一种新型的卷积变压器，新增了一种动态的多头卷积自注意机制用于单目 3D 人体姿势估计。通过对人体各关节点之间的关系进行建模，利用时间关节特征的新概念进行完全的时间信息融合，成功地在三个基准数据集上实现了 SOTA 水平的结果，相对于以前的变压器模型取得了显著的参数降低。

    Apr, 2023

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • PoseFormerV2: 探索频域以实现高效和强韧的 3D 人体姿势估计

    本研究提出了一种名为 PoseFormerV2 的新型人体姿态估计方法，借助于在频域上紧凑的骨骼序列表示，以有效地扩大接受域并增强对噪声干扰的鲁棒性，进行时域和频域特征有效融合，相较于原始的 PoseFormer 和其他基于 transformer 的变体有更好的速度 - 准确性平衡。

    Mar, 2023

  • HRFormer: 用于密集预测的高分辨率 Transformer

    本研究提出了一种名为 High-Resolution Transformer 的方法，用于学习密集预测任务中的高分辨率表示， 并取得了在人体姿态估计和语义分割任务中较好的结果。

    Oct, 2021

  • XFormer: 快速准确的单目三维人体捕捉

    XFormer 是一种新型的人体网格和动作捕捉方法，能够仅用单目图像即可实现在普通 CPU 上的实时性能，并能够高效地训练于多种数据集，其关键在于跨模态的 transformer block。

    May, 2023

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • MotionAGFormer: 基于 Transformer-GCNFormer 网络的 3D 人体姿势估计增强

    我们提出了一种新颖的 Attention-GCNFormer（AGFormer）模块，通过使用两个并行的 Transformer 和 GCNFormer 流来减少通道数，以精确捕捉邻接关节之间的局部依赖关系。通过以适应性方式融合这两种表示，AGFormer 模块在学习底层 3D 结构方面表现出更好的能力。通过堆叠多个 AGFormer 模块，我们提出了四个不同变体的 MotionAGFormer 模型，可以根据速度 - 准确性的权衡来选择。我们在两个常用基准数据集 Human3.6M 和 MPI-INF-3DHP 上评估了我们的模型。MotionAGFormer-B 取得了最先进的结果，分别为 38.4mm 和 16.2mm 的 P1 错误率。值得注意的是，与 Human3.6M 数据集上的前一最先进模型相比，它使用了四分之一的参数，并且计算效率提高了三倍。该模型的代码和模型可在指定的网址上获得。

    Oct, 2023

  • EgoPoseFormer：一种用于自视角 3D 人体姿态估计的简单基线

    使用 EgoPoseFormer 模型进行立体自我中心人体姿态估计，通过引入两阶段姿态估计范式和可变形立体操作，有效地解决了联合不可见性问题，从而实现了更精确的关节点定位和三维环境中的姿态估计。

    Mar, 2024

  • 3Mformer：多阶多模态 Transformer 用于骨骼动作识别

    该研究提出了一种使用超图模型的多阶多模态转换器来识别骨骼动作，并包括更高级别的运动模式及可训练的网络，在骨骼活动识别中优于 GCN、transformer 和超图等现有模型。

    Mar, 2023