ECCVSep, 2022

单目和多视角人体姿态估计的 token - 修剪关键点变换器

PDF
TL;DR该论文提出了一种基于 Transformer 的 2D 人体姿态估计方法 ——Token-Pruned Pose Transformer（PPT）及其多视点姿态估计扩展，使用自我注意力仅在选定的标记中进行计算，采用一种名为人体区域融合的新的跨视图融合策略，通过在多视角中对来自多视点的提示进行高效融合，进而实现了与以前人体姿态 Transformer 方法相同的准确度，同时减少了计算量，并在 Human 3.6M 和 Ski-Pose 数据集上取得了新的最优结果。
vision transformertransformer-based methodstoken-pruned pose transformerself-attentionmulti-view human pose estimation
发现论文，激发创造
  • 2D 人体姿态估计中的基于 Token-Pruning 的姿态 Transformer 压缩

    提出了一种名为 Distilling Pruned-Token Transformer 的人体姿势估计方法，它主要利用 TokenPose 的输出来监督 PPT 的学习过程，并且实验证明它可以在显著提高 PCK 的同时降低计算复杂度。

    Apr, 2023

  • 改进的 TokenPose 与稀疏性

    在这篇论文中，我们引入了稀疏性来改善人体姿势估计，在 MPII 数据集上的实验证明了我们的模型具有更高的准确性和新的最先进结果，并且对其他基于 Transformer 的模型提供了参考。

    Nov, 2023

  • PPT：高效视觉 Transformer 的令牌修剪和池化

    通过在视觉 Transformer 模型中集成令牌剪枝和令牌汇聚技术，我们提出了一种名为令牌剪枝和汇聚 Transformer（PPT）的新型加速框架，通过启发式方法自适应地应对两种不同层次的冗余，有效降低模型复杂性同时保持其预测准确性。例如，PPT 在 ImageNet 数据集上使 DeiT-S 的 FLOPs 降低了 37%，吞吐量提高了 45% 以上，而没有准确性下降。

    Oct, 2023

  • 高效 Transformer 的沙漏分词技术用于 3D 人体姿势估计

    提出了一种基于 Transformer 的 3D 人体姿态估计的剪枝和恢复框架，通过选择具有高语义多样性和消除视频帧冗余的少量代表性 Token，在中间 Transformer 块中有效地提高模型效率。

    Nov, 2023

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 通过 - Uplifting-Transformers 实现高效三维人体姿势估计的提升和上采样

    本文提出了一种基于 Transformer 的姿势提升方案，能够处理时间上稀疏的二维姿势序列，但仍能产生时间上密集的三维姿势估计。其采用掩码令牌建模来实现 Transformer 块内的时间上采样，可以大大降低总计算复杂度。在 Human3.6M 和 MPI-INF-3DHP 上评估表明，相对于现有的方法，所提出的方法在保持准确性的同时将推理时间降低了 12 倍，这提高了在不同应用中使用可变消费者硬件的实时吞吐量。

    Oct, 2022

  • 几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

    通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • 姿态导向的不确定性引导下的 Transformer 对 2D 到 3D 人体姿态估计进行精细优化

    本文提出了一种姿势导向的自注意机制和基于距离的位置嵌入的 Pose-Oriented Transformer (POT) 以明确利用人类骨骼拓扑，并通过考虑每个关节的预测不确定度进行不确定性引导的采样策略和自注注意机制来优化 POT 的姿态预测。实验结果表明，在 3D HPE 基准测试中，我们的方法在减少模型参数并且比其他最先进方法的性能显著提高。

    Feb, 2023

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024