Sep, 2022

单目和多视角人体姿态估计的token-修剪关键点变换器

HTML
PDF
TL;DR该论文提出了一种基于Transformer的2D人体姿态估计方法——Token-Pruned Pose Transformer（PPT）及其多视点姿态估计扩展，使用自我注意力仅在选定的标记中进行计算，采用一种名为人体区域融合的新的跨视图融合策略，通过在多视角中对来自多视点的提示进行高效融合，进而实现了与以前人体姿态Transformer方法相同的准确度，同时减少了计算量，并在Human 3.6M和Ski-Pose数据集上取得了新的最优结果。
发现论文，激发创造
  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于transformer的算法，能够在视频中实现3D人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的3D人体姿态，该算法在Human3.6M和MPI-INF-3DHP数据集上实现了最先进的成果。

    Mar, 2021

  • TransFusion：基于Transformer的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角3D姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善2D预测器的性能。同时，研究人员还提出了一个名为Epipolar field的概念，它可以将3D位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 通过-Uplifting-Transformers实现高效三维人体姿势估计的提升和上采样

    本文提出了一种基于 Transformer 的姿势提升方案，能够处理时间上稀疏的二维姿势序列，但仍能产生时间上密集的三维姿势估计。其采用掩码令牌建模来实现 Transformer 块内的时间上采样，可以大大降低总计算复杂度。在 Human3.6M 和 MPI-INF-3DHP 上评估表明，相对于现有的方法，所提出的方法在保持准确性的同时将推理时间降低了12倍，这提高了在不同应用中使用可变消费者硬件的实时吞吐量。

    Oct, 2022

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于Transformer的模型，使用三种独立的tokens学习人体的3D关节旋转，身体形状和位置信息，进而估算SMPL参数，从而解决单目图像或视频中3D人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 2D人体姿态估计中的基于Token-Pruning的姿态Transformer压缩

    提出了一种名为Distilling Pruned-Token Transformer的人体姿势估计方法，它主要利用TokenPose的输出来监督PPT的学习过程，并且实验证明它可以在显著提高PCK的同时降低计算复杂度。

    Apr, 2023

  • 通过补丁选择实现人体姿势估计的高效视觉变换器

    提出了一种用于减少Vision Transformers计算复杂度的简单方法，通过选择和处理最有信息的小片段，我们将二维人体姿态估计网络的结果作为指导进行小片段的选择，实验结果表明这种方法在显著提高速度和减少计算复杂度方面非常有效，而且性能略微下降。

    Jun, 2023

  • 改进的TokenPose与稀疏性

    在这篇论文中，我们引入了稀疏性来改善人体姿势估计，在MPII数据集上的实验证明了我们的模型具有更高的准确性和新的最先进结果，并且对其他基于Transformer的模型提供了参考。

    Nov, 2023

  • 高效Transformer的沙漏分词技术用于3D人体姿势估计

    提出了一种基于Transformer的3D人体姿态估计的剪枝和恢复框架，通过选择具有高语义多样性和消除视频帧冗余的少量代表性Token，在中间Transformer块中有效地提高模型效率。

    Nov, 2023

  • 几何偏置变换器用于鲁棒的多视角3D人体姿势重建

    通过提出一种新颖的编码器-解码器Transformer架构，结合多视角和时间信息、几何关系和2D姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的3D人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • GTPT: 基于组别的令牌修剪变换器用于高效的人体姿势估计

    通过引入逐步引入关键点的粗到细操作，Group-based Token Pruning Transformer (GTPT)有效降低了计算负担并确保高性能的有效人体姿态估计方法。通过将关键点令牌分组和修剪视觉令牌来提高模型性能并减少冗余，同时利用Multi-Head Group Attention (MHGA)实现全局交互。实验结果表明，GTPT在整体和全身多姿态的情况下，能够以较少的计算能力实现更高的性能。

    Jul, 2024