基于两阶段蒸馏的有效全身姿势估计
本研究提出了一种新的单一神经网络方法,用于2D全身姿势估计,并可同时定位身体、面部、手和足关键点。该方法采用一种底部上的公式,使其在图像中的人数不论多少,都能保持恒定的实时性能。神经网络采用多任务学习,经过改进的结构可以处理身体/脚和面部/手关键点之间的尺度差异。这种方法在速度和全球精度方面都显著优于OpenPose,并且不像OpenPose那样需要为每个手和面候选者运行额外的网络,因此在多人场景中速度更快。本文的研究结果进一步降低了需要2D全身信息的应用程序(例如VR / AR,重新定位)的计算复杂性,而且在面部和手部模糊、低分辨率等情况下,准确率更高。
Sep, 2019
DOPE是第一种能够在复杂场景中检测和估计整体身体、手和面部3D姿势的方法,它利用独立的专家和蒸馏过程来训练整体姿势检测的单个深度神经网络,并在保持接近专家效果的同时实现了比大师集合更快的实时处理速度。
Aug, 2020
本文介绍了一个实时运行的系统AlphaPose,它可以同时执行准确的全身姿势估计和跟踪。我们使用了几种新技术,包括对称积分关键点回归(SIKR)用于快速和精确的定位,参数化姿势非最大抑制(P-NMS)用于消除冗余的人体检测和姿势感知身份嵌入,用于联合姿势估计和跟踪。我们的方法能够准确地定位全身关键点并同时跟踪人,可以显著提高COCO-wholebody,COCO,PoseTrack和我们提出的Halpe-FullBody姿势估计数据集的速度和准确性。
Nov, 2022
我们提出了一个新的框架来增强全身姿势和形状估计的鲁棒性,其中包括三个模块以从三个角度解决上述挑战:1)定位模块,2)对比特征提取模块,3)像素对齐模块,并通过全面实验证明了该框架在身体、手、脸和全身基准测试上的有效性。
Dec, 2023
SDPose是一种新的自我蒸馏方法,它基于多周期前向传播设计了一个名为MCT的transformer模块来提高小型transformer模型的性能,同时通过将MCT模块的知识提取到一个简单的前向模型中,避免了额外的计算。
Apr, 2024
通过多教师知识蒸馏与统一的骨骼表示相结合,我们提出了一种新颖的方法来解决姿态估计中不一致的骨骼注释所带来的挑战,同时提升了模型在不同数据集上的适应性,实现了更准确的康复7个主要关键点和21个扩展关键点的预测。
May, 2024
本文介绍了RTMW(实时多人全身姿势估计模型)系列,用于2D / 3D全身姿势估计的高性能模型,结合FPN和HEM来更好地捕捉不同身体部位的姿势信息,通过两阶段精炼策略增强模型,达到了较高的推断效率和部署友好性,成果在多个全身姿势估计评测中表现出色。
Jul, 2024
我们提出了一种新的方法来进行3D全身姿态估计,解决了由将人体的17个主要关节扩展到脸部和手部的细粒度关键点所带来的尺度和可变性差异的挑战。通过将稳定扩散与预测每个部分(例如,面部)内细粒度关键点相对于局部参考框架的相对位置的分层部分表示相结合,我们不仅解决了在不均匀采样数据中利用运动的挑战,还在H3WB数据集上大大超过了目前的艺术水平,并且与不考虑身体部分特异性的其他时空3D人体姿态估计方法相比,显示出了显著的改进。
Jul, 2024