SDPose：基于循环引导自蒸馏的分词姿态估计

CVPRApr, 2024

SDPose：基于循环引导自蒸馏的分词姿态估计

SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation

Sichen Chen, Yingyi Zhang, Siming Huang, Ran Yi, Ke Fan...

TL;DRSDPose 是一种新的自我蒸馏方法，它基于多周期前向传播设计了一个名为 MCT 的 transformer 模块来提高小型 transformer 模型的性能，同时通过将 MCT 模块的知识提取到一个简单的前向模型中，避免了额外的计算。

Abstract

Recently, transformer-based methods have achieved state-of-the-art prediction quality on human pose estimation(HPE). Nonetheless, most of these top-performing transformer-based models are too computation-consumin

transformer-based methods human pose estimation self-distillation method multi-cycled transformer small model parameters

发现论文，激发创造

DistilPose: 基于热图蒸馏的令牌化姿态回归

本文提出了一种新的人体姿态估计框架 DistilPose，它通过 Token-distilling Encoder 和 Simulated Heatmaps 将基于 heatmap 的和基于回归的方法结合起来，在保持有效性的同时显著提高了回归模型的性能。

Mar, 2023

基于扩散的姿态优化与多假设生成的三维人体姿态估计

我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

Jan, 2024

2D 人体姿态估计中的基于 Token-Pruning 的姿态 Transformer 压缩

提出了一种名为 Distilling Pruned-Token Transformer 的人体姿势估计方法，它主要利用 TokenPose 的输出来监督 PPT 的学习过程，并且实验证明它可以在显著提高 PCK 的同时降低计算复杂度。

Apr, 2023

构建时空 Transformer 用于自我中心三维姿态估计

本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

Jun, 2022

使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

Mar, 2023

PViT-6D：使用置信水平预测和姿态令牌超频视觉变换器的 6D 位姿估计

我们的研究将 6D 姿态估计问题转化为直接的回归任务，利用 Vision Transformers 的能力进行探索，通过对分类标记的定制使用来进行姿态估计。我们还引入了一种简单的方法来确定姿态的置信度，这可以很容易地集成到大多数 6D 姿态估计框架中。我们的方法 PViT-6D 在实现简单和端到端可学习的同时，表现优于当前最先进方法，在 Linemod-Occlusion 数据集上提高 0.3% ADD (-S)，在 YCB-V 数据集上提高 2.7% ADD (-S)。此外，我们的方法提高了模型的可解释性和推理性能的可靠性。

Nov, 2023

快速人体姿势估计

本研究提出一种新的姿势模型学习策略，即快速姿势蒸馏（Fast Pose Distillation，FPD），旨在提高人体姿势估计模型的效率和可扩展性，并通过将强教师网络的姿势结构知识有效地转移给轻型姿势神经网络体系结构来实现，并在两个标准基准数据集 MPII 和 Leeds Sports Pose 中广泛评估，证明了 FPD 方法在模型节约成本方面优于广泛的最新姿势估计方法。

Nov, 2018

通过 - Uplifting-Transformers 实现高效三维人体姿势估计的提升和上采样

本文提出了一种基于 Transformer 的姿势提升方案，能够处理时间上稀疏的二维姿势序列，但仍能产生时间上密集的三维姿势估计。其采用掩码令牌建模来实现 Transformer 块内的时间上采样，可以大大降低总计算复杂度。在 Human3.6M 和 MPI-INF-3DHP 上评估表明，相对于现有的方法，所提出的方法在保持准确性的同时将推理时间降低了 12 倍，这提高了在不同应用中使用可变消费者硬件的实时吞吐量。

Oct, 2022

姿态导向的不确定性引导下的 Transformer 对 2D 到 3D 人体姿态估计进行精细优化

本文提出了一种姿势导向的自注意机制和基于距离的位置嵌入的 Pose-Oriented Transformer (POT) 以明确利用人类骨骼拓扑，并通过考虑每个关节的预测不确定度进行不确定性引导的采样策略和自注注意机制来优化 POT 的姿态预测。实验结果表明，在 3D HPE 基准测试中，我们的方法在减少模型参数并且比其他最先进方法的性能显著提高。

Feb, 2023

基于自我蒸馏的多模态会话情感识别的 Transformer 模型

本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证明 SDT 在 IEMOCAP 和 MELD 数据集上优于之前的最先进基线模型。

Oct, 2023