ICCVOct, 2021

通过注意力将关键点分组以实现多人姿态估计的关注中心

PDF
TL;DR本研究介绍了 CenterGroup，这是一种基于注意力机制的框架，用于从一组身份不可知的关键点和人物中心预测中估计人体姿势。我们的方法使用 transformer 为所有检测到的关键点和中心获取上下文感知嵌入，然后应用多头注意力直接将关节分组到相应的人物中心。最终，我们的方法在实现最先进性能的同时，比竞争的从底部方法提高了多达 2.5 倍的推理速度。
centergroupattention-based frameworkhuman poseskeypointstransformer
发现论文，激发创造
  • 群组姿势：一种简单的端到端多人姿势估计的基线

    通过简单且有效的 Transformer 方法，命名为 Group Pose，我们研究了无人工盒监督的端到端多人姿态估计问题，取得了优于复杂解码器的性能。

    Aug, 2023

  • Simple Pose: 重构和改进面向多人姿态估计的自底向上方法

    通过改进下联式方法，提出了一种改进的多人姿势估计方法，该方法使用更直观却更合理的表示方法，具有 attention 机制的改进型叠叠层沙漏网络，专门用于 hard keypoint 和 keypoint 关联挖掘的新型 Focal L2 Loss 和用于将检测到的关键点分组为单个姿势的强大贪婪关键点分配算法，平均精度比基准线高约 15％，与 MS-COCO 测试数据集上的最新技术相当。

    Nov, 2019

  • 基于人属性的交互感知联合注意力估计

    本文提出了单张图像中的联合注意力估计，通过引入上下文线索、模拟各属性之间的相互作用，并采用基于 Transformer 的注意力网络来编码联合注意力为低维特征。通过预测像素级联合注意力的置信度热力图，改善了热力图的准确性，并结合了图像的普通注意力估计进一步提高了估计的联合注意力。相比其他方法，我们的方法在定量实验中表现更好。

    Aug, 2023

  • 一个针对多人姿态跟踪的双源注意力转换器

    为了解决多人姿势关联问题，提出了一种双源注意力变换器，它包括姿势条件重识别网络、基于时间姿势相似性的边嵌入和基于注意力的匹配层，能够有效应对运动模糊、拥挤场景和遮挡等问题。

    Jun, 2023

  • 多人姿态估计的可微分分层图分组

    本文提出了一种新的人体部分聚类方法，即可学习的分层图聚类 (HGG) 方法，用于底层多人姿态估计任务，并证明该方法可以提高底层姿态估计方法的性能。

    Jul, 2020

  • DirectPose：直接端到端的多人姿势估计

    提出了第一个直接的端到端多人姿态估计框架，称为 DirectPose，使用新的关键点对齐机制 (KPAlign)，该机制提高了准确性，并消除了需在底部向上方法中处理的启发式分组或在自顶向下方法中进行边界框检测和 RoI 操作。实验证明，这一端到端模式在人体姿态估计任务中可以达到与之前强大基线相媲美或更好的表现。

    Nov, 2019

  • 基于热图引导的自适应关键点排序的底层人体姿态估计

    本文介绍了一种基于向下拼接的人体姿态估计框架，其中通过关键点检测和聚类两个阶段进行处理。在该框架下，本文提出了多种方案，包括使用关键点热图进行像素级别的关键点回归、采用像素级别空间变换网络学习适应性表示处理尺度和方向差异并提高关键点回归质量，以及使用联合形状和热值评分方案提升预测姿态的可靠性，最终获得了最先进的人体底部向上姿态估计结果。

    Jun, 2020

  • 关键点社群

    用快速的自下而上的方法，结合图形中心性度量对人类或物体上的 100 多个关键点进行检测，为硬件和人物建模，量化关键点的独立性，将训练权重分配给不同部位的姿势。经实验证明该方法优于以往的所有人体姿势估计方法，而且具有很好的泛化性能。

    Oct, 2021

  • AdaptivePose：将人体部位作为适应点

    本文提出了一种更加紧凑和高效的多人姿态估计框架，使用自适应点集来表示人体部位并使用单阶段网络精细地回归多人姿态，在 COCO 测试开发数据集上实现了最佳速度 - 准确度平衡。

    Dec, 2021

  • 基于注意力融合的多源人体图像生成

    我们提出了一个通用的人像生成任务的泛化方法，通过目标姿势和一组源外观图像生成一个人像，基于本地关注机制选择不同源图像区域的相关信息，避免了为每个特定的 X 基数构建特定生成器的必要性，并通过实证评估验证了在多源环境中解决人像生成问题的实用性。

    May, 2019