Feb, 2024

自监督压力图人体关键点检测方法：在数据集之间优化泛化和计算效率

PDF
TL;DR该研究提出了一种新颖的自监督压力图关键点检测（SPMKD）方法，通过 Encoder-Fuser-Decoder 模型和 Classification-to-Regression Weight Transfer 方法，在不需要手动注释的情况下提高人体关键点泛化性能，同时显著减少计算和参数量。
发现论文，激发创造
  • SEKD：自适应进化的关键点检测和描述

    使用自监督框架 SEKD 从未标记的自然图像中学习高级局部特征模型，实现了与传统手工精制和基于深度神经网络方法相比表现更好的齐次估计、相对姿态估计和结构运动任务检测。

    Jun, 2020

  • 预训练扩散模型的无监督关键点

    利用文本到图像扩散模型的新知识，我们的核心思想是找到使生成模型始终关注图像中的紧凑区域（即关键点）的文本嵌入。通过优化文本嵌入，使去噪网络内的交叉注意力图定位为具有小标准差的高斯分布，我们在多个数据集上验证了性能，包括 CelebA、CUB-200-2011、Tai-Chi-HD、DeepFashion 和 Human3.6m 数据集。在非对齐和不太精选的数据上，我们取得了显著改进的准确性，有时甚至超过了监督学习方法。我们的代码公开可用，可以在我们的项目页面找到。

    Nov, 2023

  • 基于热图引导的自适应关键点排序的底层人体姿态估计

    本文介绍了一种基于向下拼接的人体姿态估计框架，其中通过关键点检测和聚类两个阶段进行处理。在该框架下，本文提出了多种方案，包括使用关键点热图进行像素级别的关键点回归、采用像素级别空间变换网络学习适应性表示处理尺度和方向差异并提高关键点回归质量，以及使用联合形状和热值评分方案提升预测姿态的可靠性，最终获得了最先进的人体底部向上姿态估计结果。

    Jun, 2020

  • 自适应关键点屏蔽的半监督 2D 人体姿态估计

    人体姿势估计是计算机视觉中的基本且具有挑战性的任务。本文提出了一种自适应关键点遮罩方法和双分支数据增广方案，用于改进半监督姿势估计的准确性和泛化能力，超过了现有的半监督姿势估计方法。

    Apr, 2024

  • 基于解耦关键点回归的自下而上人体姿态估计

    本文提出一种名为 “解离的关键点回归” 的有效方法，采用自适应卷积通过像素级空间变换激活关键点附近的像素并相应地从中学习特征向量，该方法在人体姿态估计上体现出良好的性能。

    Apr, 2021

  • KeypointNeRF：使用关键点相对空间编码广义图像体化人物

    本文提出了一种新的人体建模方法，使用稀疏 3D 关键点编码相对空间 3D 信息，并在头部重建方面超过先前的最先进方法。同时也在人体重建方面性能可与参数化模型与时间特征聚合的先前工作相比拟，实验结果表明提出方法的高保真度建模指向了一个新的方向。

    May, 2022

  • 高性能人体关键点检测技术

    本研究提出了一种用于人体关键点检测的有效网络结构、三种有效的训练策略和四种有用的后处理技术，通过积极利用丰富的非标记数据和上下文信息来提高检测准确性，从各个方面解决了由于遮挡、模糊、光照和尺度差异等因素所导致的挑战性问题，并在 MS COCO 关键点检测基准测试上取得了领先于其他参考方法的结果。

    Feb, 2020

  • 多尺度监督网络用于人体姿态估计

    该研究提出了基于深度卷积去卷积模型的鲁棒人体姿态估计方法，通过多尺度的上下文监督和全局回归的方式增强模型的姿态鲁棒性，并在 MPII 和 FLIC 数据集上展示了具有竞争力的性能。

    Aug, 2018

  • UKPGAN：通用的自监督关键点检测器

    本文提出了 UKPGAN，一种基于自我监督的 3D 关键点检测器，通过生成对抗网络与显著信息提炼模块，定位出重要的关键点，进而对物体进行对齐和重建，实验结果表明本方法能够在不同的非刚性变形下处理 SMPL 人体，并具有较好的稳定性和几何注册性能，同时适用于真实场景下的物体检测。

    Nov, 2020

  • 基于压力传感器的身体重量锻炼识别的新颖的局部 - 全局特征融合框架

    我们提出了一种新颖的本地 - 全局特征融合框架，用于基于地面动态压力图的体重训练识别。通过使用图像处理技术和 YOLO 目标检测来结合本地和全局特征，我们的方法在生成高级本地特征的同时考虑了不同身体部位的压力分布和物理约束，同时通过知识蒸馏来提高训练性能。实验证明，我们的方法在体重训练识别方面取得了显著的 11% 提升，并保持了特定标签特征的准确性。

    Sep, 2023