ECCVMar, 2020

多人姿态估计中细致本地表示的学习

PDF
TL;DR本文提出了一种新颖的方法 ——Residual Steps Network（RSN）。RSN 能够有效地聚合相同空间大小的特征（Intra-level features）以获取精细的局部表示，从而保留丰富的低级空间信息，并导致精确的关键点定位。此外，作者在输出特征方面观察到不同的特征会对最终性能产生不同的贡献。为了解决这个问题，作者提出了一种有效的注意机制 —— 姿态细化机器（Pose Refine Machine，PRM），在输出特征中在局部和全局表示之间做出权衡并进一步改进了关键点位置。该方法在 COCO Keypoint Challenge 2019 中获得了第一名，并在 COCO 和 MPII 基准测试中取得了最先进的结果，而不使用额外的训练数据和预训练模型。我们单个模型在 COCO 测试版中获得了 78.6 的分数，在 MPII 测试数据集上获得了 93.0 的分数。集成模型在 COCO 测试版中获得了 79.2 的分数，在 COCO 测试挑战数据集上获得了 77.1 的分数。源代码可以在此网址进行查看。
residual steps networkintra-level featureskeypoint localizationpose refine machinecoco keypoint challenge
发现论文，激发创造
  • MultiPoseNet：使用姿态残差网络的快速多人姿态估计

    本文介绍了一种称为 MultiPoseNet 的新型底层多人姿态估计架构，它结合了多任务模型和新型分配方法，可同时处理人物检测、关键点检测、人物分割和姿态估计问题，并在 COCO 关键点数据集上超越了所有先前的底层方法，具有更高的精度和更快的速度，在至少 4 倍的速度下与最佳的自上而下方法相当。

    Jul, 2018

  • DRSI-Net: 双重残差空间交互网络用于多人姿态估计

    为了解决多人姿势估计中局部和全局信息不匹配的问题，本文提出了一种高精度低复杂度的 Dual-Residual Spatial Interaction Network (DRSI-Net)。通过在邻居特征上递归地进行残差空间信息交互，保留更有用的空间信息并在浅层和深层特征之间得到更多相似性。多尺度特征融合中引入的通道和空间双重关注机制有助于网络自适应地关注与目标关键点相关的特征并进一步改进生成的姿势。同时，通过优化交互通道维度和梯度流的分割，设计了轻量级的空间交互模块，从而减少了网络的复杂性。根据在 COCO 数据集上的实验结果，DRSI-Net 在精确性和复杂性方面均优于其他最先进的方法。

    Feb, 2024

  • SRNet: 使用分裂与重组方法提升 3D 人体姿态估计中的泛化能力

    提出一种名为 SRNet 的拆分和重组方法来更好地预测罕见和未知的人体姿势，通过拆分为本地区域，使用单独的网络分支进行处理，并在低维向量中重新组合全局上下文来维护全局一致性。

    Jul, 2020

  • 大规模多人姿态估计的精度提升

    该论文提出了一种用于多人检测和二维姿势估计的方法，采用两个阶段的简单而强大的自上而下方法，结合使用 Faster RCNN 检测器、关键点基于非最大抑制（Non-Maximum-Suppression）和置信度计算，利用 COCO 数据集训练得到的该系统具有较高的平均精度和表现。

    Jan, 2017

  • Simple Pose: 重构和改进面向多人姿态估计的自底向上方法

    通过改进下联式方法，提出了一种改进的多人姿势估计方法，该方法使用更直观却更合理的表示方法，具有 attention 机制的改进型叠叠层沙漏网络，专门用于 hard keypoint 和 keypoint 关联挖掘的新型 Focal L2 Loss 和用于将检测到的关键点分组为单个姿势的强大贪婪关键点分配算法，平均精度比基准线高约 15％，与 MS-COCO 测试数据集上的最新技术相当。

    Nov, 2019

  • 多尺度聚合 R-CNN 用于二维多人姿态估计

    本文提出了一种名为 MSA R-CNN 的多尺度聚合方法，该方法通过多尺度 ROIAlign 块和多尺度关键点头网络来利用多尺度信息，并将人体检测和关键点定位合并到一个模型中，从而实现了较小的计算量，该方法在 2D 多人关键点本地化数据集上表现最佳。

    May, 2019

  • HintPose

    本研究通过引入两个新的概念 - instance cue 和 recurrent refinement 到已有的姿态估计模型中，以处理带有多个人的检测框，实现了更准确的姿态估计，并在 COCO17 关键点数据集上取得了较高的 mAP 得分。

    Mar, 2020

  • 深度高分辨率表示学习人体姿态估计

    本论文利用 pytorch 实现了一种深度高分辨率表示学习方法用于人体姿态估计，通过建立多分辨率子网并在并行连接中进行信息融合，最终得到更精准、更高精度的关键点热图，实验证明该方法在 COCO 关键点检测数据集和 MPII 人体姿态数据集上具有显著优势。

    Feb, 2019

  • RMPE: 区域多人姿态估计

    该文提出了一种新颖的区域多人姿态估计框架 (RMPE)，其中包括 Symmetric Spatial Transformer Network、Parametric Pose Non-Maximum-Suppression 和 Pose-Guided Proposals Generator 三个组件，实现了在粗略的边界框下多人姿态估计，在 MPII (多人) 数据集上改进了 17%（mAP）。

    Dec, 2016

  • 学习优化人体姿态估计

    本文介绍了一种姿势细化网络，它可以在现有神经网络的基础上直接预测细化的姿态。通过使用新颖的数据增强方案进行训练，我们的方法在四个大型姿势估计基准测试中得到了系统的改进。

    Apr, 2018