重新思考基于热力图回归的自下而上的人体姿势估计
本文介绍了一种基于向下拼接的人体姿态估计框架,其中通过关键点检测和聚类两个阶段进行处理。在该框架下,本文提出了多种方案,包括使用关键点热图进行像素级别的关键点回归、采用像素级别空间变换网络学习适应性表示处理尺度和方向差异并提高关键点回归质量,以及使用联合形状和热值评分方案提升预测姿态的可靠性,最终获得了最先进的人体底部向上姿态估计结果。
Jun, 2020
基于热图的方法已经成为姿势估计的主流方法,但由于通过降低重要热图的大小而带来量化误差的原因,这些方法受到了一定的限制,而且中间监督也起到了有害效果。为了解决以上问题,该论文提出了 SRPose 方法,通过将骨干网络视为降级过程并重新构建热图预测作为超分辨率任务,从而有效降低了量化误差和进一步后处理的依赖。实验结果显示 SRPose 在 COCO、MPII 和 CrowdPose 数据集上的性能优于其他基于热图的方法。
Jul, 2023
本文提出了一种减轻资源负荷、加速推理速度的方法,是通过在 SimpleBaseline 的反卷积头网络中引入注意机制来利用原始、跨层次和内层次信息以提高精度,并采用称为 heatmap 加权损失的新型损失函数,生成热图上每个像素的权重,使模型更加注重关键点,实验证明我们的方法在性能和资源和推理速度之间实现了平衡,具有不错的适用性。
May, 2022
这篇论文提出了 HigherHRNet,一种新的从下往上的人体姿态估计方法,使用高分辨率特征金字塔学习尺度感知表示,具有多分辨率监督训练和多分辨率聚合推理的能力,能够解决下向多人姿势估计中的尺度变化挑战,从而更精确地定位关键点,尤其适用于小尺寸人体,实现了比以前最好的下向方法在 COCO test-dev 中中等人体上 2.5% AP 的提高。在 CrowdPose test 上,HigherHRNet 甚至超过了所有自上而下的方法,表明其在拥挤场景中具有鲁棒性。
Aug, 2019
本研究提出了一个称为 HybridPose 的混合模型,通过最大化两种方法的优点来互相克服它们的缺点,同时引入自相关损失来注入关键点坐标和可见性之间的空间依赖性,从而在不降低姿势估计准确性的情况下展示了关键点的可见性。
May, 2023
本研究提出了一种基于分数热力图回归的高分辨率视频人脸对齐方法,该方法可以准确估计热图中的分数部分,并提出了一个新的稳定损失来解决时间延迟和非平滑问题。实验证明,该方法的精度和稳定性优于现有的方法。
Nov, 2018
本文介绍了一种改进的三维人体姿势预测模型 MargiPose,它使用深度神经网络和增强软最大值方案,可以在保持可微性的同时,从单眼 RGB 图像中预测二维边缘热图,并在公开的三维人体姿势估计数据上实现了最新的准确性。
Jun, 2018
我们提出了一种新的半监督学习设计,用于人体姿势估计,通过增强双学生框架,引入去噪方案生成可靠的伪热图作为无标签数据学习的目标,并通过估计的交叉学生不确定性从伪热图中选择学习目标。我们在 COCO 基准测试上进行了多个评估设置,结果显示我们的模型在极低数据情况下优于以前最先进的半监督姿势估计器,例如,只有 0.5K 标记图像时,我们的方法能够超越最好的竞争者 7.22 mAP (绝对改进量为 + 25%),我们还证明了我们的模型可以从非标签数据中有效学习,以进一步提升其泛化和性能。
Sep, 2023
本文提出了一种新颖的领域适应方法,用于多人姿态估计,以进行人类级别的拓扑结构对齐和细粒度特征对齐。通过三个模块实现:交叉注意力特征对齐(CAFA),域内结构自适应(ISA)和域间人 - 拓扑对齐(IHTA)模块,证明了该算法优于现有最佳算法。
Aug, 2020
本研究中,我们提出了一种度量尺度的截断鲁棒体素热力图,该热力图的维度定义在靠近主体的度量 3D 空间中,使我们能够在没有测试时间知识的情况下估计完整的度量尺度姿势,同时优于现有人体姿势估计标准,具有实时性。
Mar, 2020