CVPRMay, 2024

FinePOSE: 经控制的高精度 3D 人体姿势估计

PDF
TL;DR3D 人体姿势估计任务使用 2D 图像或视频预测 3D 空间中的人体关节坐标。本论文提出了一种基于扩散模型的 Fine-Grained Prompt-Driven Denoiser（FinePOSE）用于 3D 人体姿势估计，通过构建细粒度的部分感知提示、建立精细的沟通以及整合动态信息来提高去噪质量，并在公开数据集上展开了广泛实验，显示出 FinePOSE 在单人姿势估计以及多人复杂场景中的潜力。
3d human pose estimationdeep learning-based methodsfine-grained prompt-driven denoiserfineposemulti-human pose estimation
发现论文，激发创造
  • DiffHPE: 稳健、一致的扩散式 3D 人体姿势升级

    我们提出了一种创新方法，结合前沿的扩散模型来进行 3D 人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为 3D-HPE 研究开辟了新的激动人心的领域。

    Sep, 2023

  • 基于扩散的姿态优化与多假设生成的三维人体姿态估计

    我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

    Jan, 2024

  • 学习结构引导的扩散模型用于二维人体姿态估计

    本文提出了 DiffusionPose，将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题，并通过添加噪声，将关键点扩散到随机分布中，学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图，从而实现从初始化热图的漸進式降噪方式生成热图。此外，本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验，证明了 DiffusionPose 的优越性，在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。

    Jun, 2023

  • 二次姿势：离散扩散模型用于遮挡人体三维姿势估计

    连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性，但需要大型搜索空间和大量训练数据，易于生成生物力学上不真实的姿势。为应对这些限制，我们引入了离散扩散姿势（Di2Pose），一种专为遮挡的三维人体姿势估计设计的新型框架，利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示，然后通过离散扩散过程在潜在空间中对其进行建模，将搜索空间限制在物理上可行的配置范围内，并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估（如 Human3.6M、3DPW 和 3DPW-Occ）表明其有效性。

    May, 2024

  • DiffPose：基于视频的人体姿势估计的时空扩散模型

    DiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。

    Jul, 2023

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • 适应性噪声采样概率恢复的三维人体姿势估计

    基于弱监督方法，提出了适用于轻量级单假设模型的概率恢复三维人体姿势评估框架（PRPose），通过逆向映射隐藏概率分布，采用自适应噪声采样策略生成合理的多假设样本，从而解决了 2D 姿势检测误差和 2D 到 3D 非正常问题的限制，实验证明了 PRPose 的有效性和高效性。

    May, 2024

  • UniHPE：通过对比学习实现统一的人体姿势估计

    本文提出了 UniHPE，它是一个统一的人体姿势估计流程，通过同一流程中对所有三种模态进行特征对齐，即 2D 人体姿势估计、基于 lifting 和基于图像的 3D 人体姿势估计。我们提出了一种新的基于奇异值的对比学习损失函数来同时对齐多个模态，从而提高性能。评估结果显示 UniHPE 在 Human3.6M 数据集上的 MPJPE 为 50.5mm，3DPW 数据集上的 PAMPJPE 为 51.6mm，显示出巨大的潜力来推动计算机视觉领域并贡献于各种应用。

    Nov, 2023

  • 基于图像的三维手部姿态估计的去噪扩散

    本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

    Aug, 2023

  • D3PRefiner：一种基于扩散的 3D 人体姿势优化方法

    使用单眼相机进行三维人体姿态估计存在深度模糊问题，本文提出了一种基于扩散的三维姿态优化器 (D3PRefiner)，通过神经网络学习噪声姿态和真实姿态之间的映射关系，从而大幅提高当前的三维姿态估计性能。

    Jan, 2024