Oct, 2023

X-HRNet: 基于空间一维自注意力的轻量级人体姿态估计

PDF
TL;DR通过引入 Spatially Unidimensional Self-Attention (SUSA)，我们减少了 pointwise（1x1）卷积的计算复杂度，并构建了轻量级姿势估计框架 X-HRNet，该框架在 COCO 基准测试中表现卓越，并且 SUSA 模块的有效性得到了全面验证。
human pose estimationhigh-resolution representationpointwise convolutionsusax-hrnet
发现论文，激发创造
  • 人体姿态估计轻量级超分辨率头

    基于热图的方法已经成为姿势估计的主流方法，但由于通过降低重要热图的大小而带来量化误差的原因，这些方法受到了一定的限制，而且中间监督也起到了有害效果。为了解决以上问题，该论文提出了 SRPose 方法，通过将骨干网络视为降级过程并重新构建热图预测作为超分辨率任务，从而有效降低了量化误差和进一步后处理的依赖。实验结果显示 SRPose 在 COCO、MPII 和 CrowdPose 数据集上的性能优于其他基于热图的方法。

    Jul, 2023

  • 人体姿态估计的多上下文注意力

    本文提出将卷积神经网络与多上下文关注机制相结合，形成一个端到端的框架，用于人体姿态估计，并采用堆叠的 hourglass 网络生成具有不同语义感知力的多分辨率的注意力图，从局部显著区域到全局语义一致空间不同粒度的着重点，进一步将全局一致模型与着重于不同身体部位的模型相结合，以实现对全身不同身体部位的详细描述，证明了多上下文关注机制和 hourglass 残差单元在两个公共数据集上的有效性和优越性。

    Feb, 2017

  • 人体姿态估计的多尺度结构感知网络

    本文提出了一种多尺度结构感知神经网络，通过多尺度监督、多尺度回归网络、中间监督和结构感知损失以及关键点掩蔽训练方案等四个方面对深度卷积 - 反卷积沙漏模型进行改进，以有效地提高人体姿势估计的性能。该网络不仅可以解决尺度差异、遮挡和复杂多人场景等问题，而且可以全局优化多尺度特征的结构匹配，并在 MPII 挑战排行榜上取得了领先地位。

    Mar, 2018

  • 使用热图加权损失的轻量级人体姿态估计

    本文提出了一种减轻资源负荷、加速推理速度的方法，是通过在 SimpleBaseline 的反卷积头网络中引入注意机制来利用原始、跨层次和内层次信息以提高精度，并采用称为 heatmap 加权损失的新型损失函数，生成热图上每个像素的权重，使模型更加注重关键点，实验证明我们的方法在性能和资源和推理速度之间实现了平衡，具有不错的适用性。

    May, 2022

  • 野外半监督无约束头部姿态估计

    通过利用大量未标记的野外头部图像，我们提出了第一个半监督的无约束头部姿势估计（SemiUHPE）方法，该方法可以应对多样性和复杂性较高的头部姿势领域，并使用动态熵过滤来自适应地去除未标记的异常值，并通过两种新的面向头部的强增强技术进一步提高了性能。

    Apr, 2024

  • 多尺度监督网络用于人体姿态估计

    该研究提出了基于深度卷积去卷积模型的鲁棒人体姿态估计方法，通过多尺度的上下文监督和全局回归的方式增强模型的姿态鲁棒性，并在 MPII 和 FLIC 数据集上展示了具有竞争力的性能。

    Aug, 2018

  • UniPose：单张图片和视频中的统一人体姿态估计

    提出了 UniPose，一种基于瀑布卷积模块的人体姿势估计统一框架，该模块结合了上下文分割和联合定位，实现了单阶段高精度的人体姿态估计，特别是在视频中取得了最先进的结果。

    Jan, 2020

  • 去噪和选择伪热力图用于半监督人体姿势估计

    我们提出了一种新的半监督学习设计，用于人体姿势估计，通过增强双学生框架，引入去噪方案生成可靠的伪热图作为无标签数据学习的目标，并通过估计的交叉学生不确定性从伪热图中选择学习目标。我们在 COCO 基准测试上进行了多个评估设置，结果显示我们的模型在极低数据情况下优于以前最先进的半监督姿势估计器，例如，只有 0.5K 标记图像时，我们的方法能够超越最好的竞争者 7.22 mAP （绝对改进量为 + 25%），我们还证明了我们的模型可以从非标签数据中有效学习，以进一步提升其泛化和性能。

    Sep, 2023

  • 重新思考基于热力图回归的自下而上的人体姿势估计

    本研究提出了基于尺寸自适应和权重自适应的热度图回归方法用于人体姿态估计，通过适应性地调整每个关键点的标准偏差以更好地面对人体尺度以及标注的不确定性。实验证明，该方法可以显著提高底部姿态估计的准确性，使其超越现有状态下最先进的顶部方法，并在 COCO 测试 - dev2017 上获得 72.0AP 的成绩。

    Dec, 2020

  • HigherHRNet：基于比例感知的自下而上人体姿势估计表示学习

    这篇论文提出了 HigherHRNet，一种新的从下往上的人体姿态估计方法，使用高分辨率特征金字塔学习尺度感知表示，具有多分辨率监督训练和多分辨率聚合推理的能力，能够解决下向多人姿势估计中的尺度变化挑战，从而更精确地定位关键点，尤其适用于小尺寸人体，实现了比以前最好的下向方法在 COCO test-dev 中中等人体上 2.5% AP 的提高。在 CrowdPose test 上，HigherHRNet 甚至超过了所有自上而下的方法，表明其在拥挤场景中具有鲁棒性。

    Aug, 2019