InsPose:面向单阶段多人姿态估计的实例感知网络
研究单阶段方法与多阶段方法在姿态估计领域的性能表现,提出了单阶段模块设计、跨阶段特征聚合和粗到细的监督等改进建议,所得方法在 MS COCO 和 MPII Human Pose 数据集上都取得了新的最优表现,证明了多阶段架构的有效性。
Jan, 2019
本研究提出了一种新的单一神经网络方法,用于 2D 全身姿势估计,并可同时定位身体、面部、手和足关键点。该方法采用一种底部上的公式,使其在图像中的人数不论多少,都能保持恒定的实时性能。神经网络采用多任务学习,经过改进的结构可以处理身体 / 脚和面部 / 手关键点之间的尺度差异。这种方法在速度和全球精度方面都显著优于 OpenPose,并且不像 OpenPose 那样需要为每个手和面候选者运行额外的网络,因此在多人场景中速度更快。本文的研究结果进一步降低了需要 2D 全身信息的应用程序(例如 VR / AR,重新定位)的计算复杂性,而且在面部和手部模糊、低分辨率等情况下,准确率更高。
Sep, 2019
本研究通过引入两个新的概念 - instance cue 和 recurrent refinement 到已有的姿态估计模型中,以处理带有多个人的检测框,实现了更准确的姿态估计,并在 COCO17 关键点数据集上取得了较高的 mAP 得分。
Mar, 2020
通过改进下联式方法,提出了一种改进的多人姿势估计方法,该方法使用更直观却更合理的表示方法,具有 attention 机制的改进型叠叠层沙漏网络,专门用于 hard keypoint 和 keypoint 关联挖掘的新型 Focal L2 Loss 和用于将检测到的关键点分组为单个姿势的强大贪婪关键点分配算法,平均精度比基准线高约 15%,与 MS-COCO 测试数据集上的最新技术相当。
Nov, 2019
提出了一种名为 Multi-Instance Pose Network (MIPNet) 的人体姿势估计模型,能够在给定边框范围内预测多个 2D 姿态实例,并引入了一种称为多实例调制块(Multi-Instance Modulation Block,MIMB)的方法来适应性地调制每个实例的通道特征响应,与以往方法相比,在复杂场景中取得了显著的性能提升。
Jan, 2021
本文提出了一种更加紧凑和高效的多人姿态估计框架,使用自适应点集来表示人体部位并使用单阶段网络精细地回归多人姿态,在 COCO 测试开发数据集上实现了最佳速度 - 准确度平衡。
Dec, 2021
提出了第一个直接的端到端多人姿态估计框架,称为 DirectPose,使用新的关键点对齐机制 (KPAlign),该机制提高了准确性,并消除了需在底部向上方法中处理的启发式分组或在自顶向下方法中进行边界框检测和 RoI 操作。实验证明,这一端到端模式在人体姿态估计任务中可以达到与之前强大基线相媲美或更好的表现。
Nov, 2019
本文介绍了一种名为 Multi-Stage HRNet 的人体姿势估计模型,并采用多阶段网络和交叉阶段特征聚合等技术优化了关键点位置,从而在 COCO 数据集上取得了 77.1 AP 得分。
Oct, 2019
本文提出了一种特别设计用于多人姿势估计的双路网络,着重于回归关键点和连肢矢量,与现有的 openpose 网络在模型大小、前向速度和估计精度方面进行了比较。
Oct, 2017
提出了 Single-stage multi-person Pose Machine (SPM)模型,以简化多人姿势估计过程,并通过结构化姿势表示法(SPR)直接预测多人姿势,同时还扩展了 SPR 以进行层次化表示和应用于多人 3D 姿势估计,实验表明 SPM 模型相比现有方法具有更高的效率和精度。
Aug, 2019