DistilPose: 基于热图蒸馏的令牌化姿态回归
提出了一种基于 Transformer 网络的 2D 人体姿势估计方法,直接将图像转换为坐标进行回归预测,并利用自适应注意力机制来提高关键点坐标预测精度,实现了在 MS-COCO 数据集上超越同类方法的目标。
Jan, 2022
SDPose 是一种新的自我蒸馏方法,它基于多周期前向传播设计了一个名为 MCT 的 transformer 模块来提高小型 transformer 模型的性能,同时通过将 MCT 模块的知识提取到一个简单的前向模型中,避免了额外的计算。
Apr, 2024
我们提出了一种人体姿态估计框架,该框架以回归为基础,采用转换器有效地解决了姿态估计任务,使用序列预测问题的方法可以避免热图姿态估计带来的缺陷,并且通过关注机制可以适应地关注与目标关键点最相关的特征,从而大大克服了以前回归方法中存在的特征不对齐问题,而且我们的框架能够固有地利用关键点之间的结构关系,在 MS-COCO 和 MPII 数据集上的实验证明了我们的方法可以显著提高基于回归的姿态估计的最新技术水平,并且表现与最好的基于热图的姿态估计方法相当。
Mar, 2021
提出了一种名为 Distilling Pruned-Token Transformer 的人体姿势估计方法,它主要利用 TokenPose 的输出来监督 PPT 的学习过程,并且实验证明它可以在显著提高 PCK 的同时降低计算复杂度。
Apr, 2023
本文介绍了一种使用级联 Transformer 的基于回归的姿势识别方法,利用编码器 - 解码器结构实现了人体和关键点检测的回归,通过不同自注意力层中的关键点假设改进来展示了 Transformer 中的递归自注意力机制,并与竞争的回归方法进行比较得到了有竞争力的结果。
Apr, 2021
本文提出了 DiffusionPose,将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题,并通过添加噪声,将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,从而实现从初始化热图的漸進式降噪方式生成热图。此外,本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验,证明了 DiffusionPose 的优越性,在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
Jun, 2023
本研究提出了一种从深度姿态回归网络中提取知识以实现高效视觉测距的方法,该方法通过 Attentive Imitation Loss (AIL) 的方式注入教师损失作为置信度评分,并使用 Attentive Hint Training (AHT) 方法进行中间表示的学习,以实现知识的迁移。经实验证明,我们可以通过最多 92.95% 的参数减少和 2.12 倍的计算速度来使得学生网络的预测结果保持接近于教师网络。
Aug, 2019
通过综合利用视频序列的时间依赖性,我们开发了一种高效且有效的基于视频的人体姿态回归方法,绕过热图等中间表示,直接将输入映射到输出关节坐标。我们的方法利用了相邻关节的空间相关性和每个关节自身的时间相关性,通过提出的关节感知特征令牌机制来灵活地利用这些关联,从而显著提高了性能。
Mar, 2024
从单个图像中推断 3D 人体姿态和形状的问题,重点关注 3D 准确性。目前最好的方法利用大量的 3D 伪地面真值 (p-GT) 和 2D 关键点数据集,以实现稳健性能。我们观察到,随着 2D 准确性的提高,3D 姿势准确性出现矛盾下降。错误的 3D 姿势是由于当前相机模型的偏差和 2D 关键点与 p-GT 的准确匹配引起的。我们定量化了当前相机模型引入的误差,并证明精确拟合 2D 关键点和 p-GT 会导致错误的 3D 姿势。我们提出了新的阈值自适应损失缩放 (TALS) 来惩罚较大的 2D 和 p-GT 损失,但不惩罚较小的损失。此方法可以解释 2D 数据的多个 3D 姿势,为了减少模糊性,我们需要一个先验来限制人体姿势的有效空间,我们利用人体姿势的 Token 编码重新定义了问题,这有效地引入了一个统一的先验。基于 EMDB 和 3DPW 数据集的大量实验证明,我们改进的关键点损失和 Token 编码使我们能够在野外数据上进行训练,并提高了 3D 准确性,我们的模型和代码可供研究使用。
Apr, 2024
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023