使用热图加权损失的轻量级人体姿态估计
本文提出了一种简单、轻量级的人体姿态估计方法 LPN,它采用深度可分离卷积和注意力机制来设计轻量级的 bottleneck 模块,并基于此设计了 LPN 网络。我们的网络仅有 SimpleBaseline(ResNet50)大小的 9% 和复杂度的 11%,并提出了迭代训练和模型无关的 Beta-Soft-Argmax 后处理方法,在 COCO 关键点检测数据集上达到了较高的精度和效率
Nov, 2019
基于热图的方法已经成为姿势估计的主流方法,但由于通过降低重要热图的大小而带来量化误差的原因,这些方法受到了一定的限制,而且中间监督也起到了有害效果。为了解决以上问题,该论文提出了 SRPose 方法,通过将骨干网络视为降级过程并重新构建热图预测作为超分辨率任务,从而有效降低了量化误差和进一步后处理的依赖。实验结果显示 SRPose 在 COCO、MPII 和 CrowdPose 数据集上的性能优于其他基于热图的方法。
Jul, 2023
本文介绍了一种基于向下拼接的人体姿态估计框架,其中通过关键点检测和聚类两个阶段进行处理。在该框架下,本文提出了多种方案,包括使用关键点热图进行像素级别的关键点回归、采用像素级别空间变换网络学习适应性表示处理尺度和方向差异并提高关键点回归质量,以及使用联合形状和热值评分方案提升预测姿态的可靠性,最终获得了最先进的人体底部向上姿态估计结果。
Jun, 2020
该研究提出了基于深度卷积去卷积模型的鲁棒人体姿态估计方法,通过多尺度的上下文监督和全局回归的方式增强模型的姿态鲁棒性,并在 MPII 和 FLIC 数据集上展示了具有竞争力的性能。
Aug, 2018
本文提出了一种新颖的 ConvNet 模型,可预测图像中的 2D 人体姿势,通过回归每个关键点的热度图表示,并能够学习和表示部件外观和配置上下文。模型可以从头开始和端到端训练,用于改善性能的辅助损失。该模型在两个基准数据集上进行了评估,具有与最先进技术相当的性能,但不含有图形模型阶段(或层)的复杂性。
May, 2016
本文提出了一种多尺度结构感知神经网络,通过多尺度监督、多尺度回归网络、中间监督和结构感知损失以及关键点掩蔽训练方案等四个方面对深度卷积 - 反卷积沙漏模型进行改进,以有效地提高人体姿势估计的性能。该网络不仅可以解决尺度差异、遮挡和复杂多人场景等问题,而且可以全局优化多尺度特征的结构匹配,并在 MPII 挑战排行榜上取得了领先地位。
Mar, 2018
本研究提出了一个称为 HybridPose 的混合模型,通过最大化两种方法的优点来互相克服它们的缺点,同时引入自相关损失来注入关键点坐标和可见性之间的空间依赖性,从而在不降低姿势估计准确性的情况下展示了关键点的可见性。
May, 2023
我们提出了一种新的半监督学习设计,用于人体姿势估计,通过增强双学生框架,引入去噪方案生成可靠的伪热图作为无标签数据学习的目标,并通过估计的交叉学生不确定性从伪热图中选择学习目标。我们在 COCO 基准测试上进行了多个评估设置,结果显示我们的模型在极低数据情况下优于以前最先进的半监督姿势估计器,例如,只有 0.5K 标记图像时,我们的方法能够超越最好的竞争者 7.22 mAP (绝对改进量为 + 25%),我们还证明了我们的模型可以从非标签数据中有效学习,以进一步提升其泛化和性能。
Sep, 2023
本文研究如何设计有效的单支脚神经网络用于在边缘设备上进行实时多人姿态估计,移除高分辨率分支,增强模型容量并大大减少计算成本,提高了姿态估计的效率和性能。
May, 2022
本研究利用卷积神经网络进行人体姿态估计,通过利用关系和空间上下文,提出了一种特殊的 CNN 级联架构,并能够在部分遮挡的情况下,鲁棒地推断姿势,该级联架构能够指导网络集中精力在图像的哪个位置,并明确编码部分限制和上下文约束,并能够应对遮挡。我们的级联结构表现出色,能够在 MPII 和 LSP 数据集上取得最佳的表现。
Sep, 2016