Jun, 2023

学习结构引导的扩散模型用于二维人体姿态估计

PDF
TL;DR本文提出了 DiffusionPose，将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题，并通过添加噪声，将关键点扩散到随机分布中，学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图，从而实现从初始化热图的漸進式降噪方式生成热图。此外，本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验，证明了 DiffusionPose 的优越性，在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
2d human pose estimationkeypoints heatmapsdiffusionposenoised heatmapsimage feature
发现论文，激发创造
  • DiffPose：基于视频的人体姿势估计的时空扩散模型

    DiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。

    Jul, 2023

  • DiffHPE: 稳健、一致的扩散式 3D 人体姿势升级

    我们提出了一种创新方法，结合前沿的扩散模型来进行 3D 人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为 3D-HPE 研究开辟了新的激动人心的领域。

    Sep, 2023

  • 3D RF-Vision 中扩散模型是一个很好的姿态估计器

    mmDiff 是一种针对嘈杂雷达数据的新型扩散式姿势估计器，解决了人体部分的漏检和环境干扰引起的信号不一致性等两个关键挑战，通过设计多个模块提供可靠的条件，显著优于现有方法，在公共数据集上实现了最先进的性能。

    Mar, 2024

  • HandDiff: 图像点云上基于扩散的 3D 手部姿态估计

    基于扩散模型，本文提出了 HandDiff，一种基于手型图像点云的迭代去噪准确手势姿态估计模型，旨在通过联合条件和局部细节条件，恢复关键点排列和准确位置，并在四个具有挑战性的手势姿态基准数据集上显著优于现有方法。

    Apr, 2024

  • 二次姿势：离散扩散模型用于遮挡人体三维姿势估计

    连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性，但需要大型搜索空间和大量训练数据，易于生成生物力学上不真实的姿势。为应对这些限制，我们引入了离散扩散姿势（Di2Pose），一种专为遮挡的三维人体姿势估计设计的新型框架，利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示，然后通过离散扩散过程在潜在空间中对其进行建模，将搜索空间限制在物理上可行的配置范围内，并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估（如 Human3.6M、3DPW 和 3DPW-Occ）表明其有效性。

    May, 2024

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • 6D-Diff: 一个用于 6D 物体姿态估计的关键点扩散框架

    基于扩散模型和逆扩散算法的 6D 物体姿态估计框架，在减少噪声和不确定性的基础上实现准确的 2D-3D 对应，并通过对物体特征进行条件优化，取得了较好的性能。

    Dec, 2023

  • FinePOSE: 经控制的高精度 3D 人体姿势估计

    3D 人体姿势估计任务使用 2D 图像或视频预测 3D 空间中的人体关节坐标。本论文提出了一种基于扩散模型的 Fine-Grained Prompt-Driven Denoiser（FinePOSE）用于 3D 人体姿势估计，通过构建细粒度的部分感知提示、建立精细的沟通以及整合动态信息来提高去噪质量，并在公开数据集上展开了广泛实验，显示出 FinePOSE 在单人姿势估计以及多人复杂场景中的潜力。

    May, 2024

  • 基于图像的三维手部姿态估计的去噪扩散

    本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

    Aug, 2023

  • 基于扩散的姿态优化与多假设生成的三维人体姿态估计

    我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

    Jan, 2024