Dec, 2023

遮挡人体姿态估计的全面框架

PDF
TL;DR本文提出了一个综合框架 DAG (Data, Attention, Graph)，用于解决因遮挡引起的性能降级问题。通过模拟遮挡场景，引入了掩蔽关节与实例粘贴数据增强技术；通过自适应判别注意力模块 (ADAM) 有效增强目标个体的特征；通过特征引导的多跳图卷积网络 (FGMP-GCN) 充分探索身体结构的先验知识，并提高姿势估计结果。通过在三个用于遮挡人体姿势估计的基准数据集上进行了广泛的实验，我们证明了所提出的方法优于现有的方法。代码和数据将公开提供。
occlusionhuman pose estimationdatafeatureinference
发现论文，激发创造
  • 抗遮挡的三维人体姿势估计

    通过使用空时图形来表示变形的人体，并引入一个细化网络，该网络在此图形上执行图形卷积以输出 3D 姿势，以确保对遮挡鲁棒性，通过使用一组二进制掩码训练此网络，并模拟某些关节在一段时间内可隐藏，并训练网络对此免疫，证明了该方法相对于从单摄像机序列推断姿势的最先进技术的有效性。

    Feb, 2024

  • 具有 StridedPoseGraphFormer 和数据增强的鲁棒遮挡 3D 人体姿势估计

    该研究提出了一种基于图卷积和 transformers 的 Spatio-temporal 3D HPE 模型，通过综合利用时空特征和合成的遮挡来处理遮挡，实验证明该方法比现有的遮挡感知方法更有效，并且在没有任何遮挡处理机制时，现有的 3D HPE 方法在遇到遮挡时性能会显著下降。

    Apr, 2023

  • 带遮挡的 3D 人体姿态估计：介绍 BlendMimic3D 数据集和 GCN 优化

    在 3D 人体姿势估计领域中，准确估计人体姿势，特别是在存在遮挡的情况下，是一个重要挑战。本研究通过填补当前 3D 人体姿势估计技术的不足之处，即缺乏处理遮挡数据和策略，引入了新颖的 BlendMimic3D 数据集，设计用于模拟真实世界中存在遮挡情况的场景，并与 3D 人体姿势估计算法无缝整合。此外，我们提出了一种使用图卷积网络（GCN）的 3D 姿势细化块，通过图模型改进姿势表示。这个 GCN 块作为一种即插即用的解决方案，可适应各种 3D 人体姿势估计框架，而无需重新训练它们。通过使用 BlendMimic3D 中的遮挡数据训练 GCN，我们证明了在解决遮挡姿势上取得了显著的改进，并且在非遮挡姿势上具有可比较的结果。该项目网页可在此 https URL 找到。

    Apr, 2024

  • 多人三维人体姿态估计的明确遮挡推理

    我们开发了一种方法来明确建模隐藏关节推理过程以显着增强有或无遮挡的人体姿势估计，将任务分为两个子任务：可见关键点检测和遮挡关键点推理，并提出了深度监督编码器蒸馏和骨架引导人体形状拟合来训练我们的模型，实验证明从遮挡中明确学习可以提高人体姿势估计的性能。

    Jul, 2022

  • 人体姿态估计在现实世界拥挤场景中的应用

    本论文针对人群姿态估计的问题，提出了通过数据增强方法、显式识别遮挡的身体部位和使用合成数据集来优化姿态估计。论文的实验结果表明这些方法提高了模型的准确性，使其在人群场景下获得了与当前最先进方法相媲美的结果。

    Jul, 2019

  • 探究严重遮挡：带门控卷积的多人三维姿态估计

    本文提出了一种利用时序回归网络和门控卷积模块来将二维关节转换为三维，并同时恢复缺失的关节的方法，还提供了一个包括多人、重度遮挡的人类动作数据集 MMHuman，并通过实验展示该方法在重度遮挡场景下的效果优于大多数现有的二维到三维姿势估计方法。

    Oct, 2020

  • 窥探被遮挡关节：一种新的群体姿势估计框架

    研究提出了一种新的基于图像感知的渐进 GCN 模块，用于从推理角度估计不可见关节的姿态估计问题，并且通过提出一种新的带有 9k 个注释图像的 Occluded Pose (OCPose) 数据 集的 OPEC-Net 框架来解决在 occlusions 中的定位挑战。

    Mar, 2020

  • 一种三维人体姿态估计框架的遮挡处理能力测量方法

    本文提出了一种基于遮挡指导的 3D 人体姿态估计框架，利用不同协议对其遮挡处理能力进行了量化，并利用动作分类表现作为评估标准，证明了该方法能更准确地预测缺失节点的 3D 姿态，并在存在缺失节点时显著提高了动作识别性能。

    Mar, 2022

  • 面向遮挡行人检测的掩模引导注意力网络

    本文介绍了一种基于注意力网络的被遮挡行人检测方法，具备在 CityPersons 和 Caltech 两个数据集上超过现有方法的鲁棒性能

    Oct, 2019

  • 3D 人体姿态估计对遮挡的鲁棒性如何？

    本文研究了在人机共享环境中，部分遮挡对 3D 人体姿态估计的影响及几种合成遮挡类型对 Human3.6M 数据集中现有方法的影响，并发现性能最好的方法即使在轻微遮挡下也会出现敏感性，通过训练数据增强和合成遮挡来提高遮挡鲁棒性并有效地规范化模型。

    Aug, 2018