ICCVJul, 2023

DiffPose：基于视频的人体姿势估计的时空扩散模型

PDF
TL;DRDiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
denoising diffusion probabilistic modelsmulti-frame human pose estimationdiffposevideo-based human pose estimationdiffusion-based methods
发现论文，激发创造
  • 学习结构引导的扩散模型用于二维人体姿态估计

    本文提出了 DiffusionPose，将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题，并通过添加噪声，将关键点扩散到随机分布中，学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图，从而实现从初始化热图的漸進式降噪方式生成热图。此外，本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验，证明了 DiffusionPose 的优越性，在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。

    Jun, 2023

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • 基于分离的扩散法进行层次空间和时间去噪的 3D 人体姿势估计

    提出了一种具有层次空间和时间降噪器的解开扩散式的三维人体姿势估计方法，该方法通过在扩散模型的正向过程中解开姿势并扩散骨长和骨方向，以有效建模人体姿势先验。在反向过程中，通过使用层次相关的空间转换器和层次相关的时间转换器来改进每个关节的层次建模，并探索关节之间的层次化时间相关性。

    Mar, 2024

  • HandDiff: 图像点云上基于扩散的 3D 手部姿态估计

    基于扩散模型，本文提出了 HandDiff，一种基于手型图像点云的迭代去噪准确手势姿态估计模型，旨在通过联合条件和局部细节条件，恢复关键点排列和准确位置，并在四个具有挑战性的手势姿态基准数据集上显著优于现有方法。

    Apr, 2024

  • 相机作为光线：通过光线扩散进行姿态估计

    基于光线组合的相机姿势的分布式表示以及基于回归和扩散的方法，在 CO3D 数据集上展现了最新的性能，并在未见过的物体类别和野外捕捉中表现出广泛适应性。

    Feb, 2024

  • 通过扩散辅助束调整解决姿态估计问题

    该研究提出了一种基于概率扩散模型的摄像机姿态估计方法，能够在解决传统方法难以处理的问题方面有所改善，并在两个真实世界数据集上取得了很好的效果。

    Jun, 2023

  • 基于图像的三维手部姿态估计的去噪扩散

    本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

    Aug, 2023

  • 随机运动预测的人体关节运动扩散细化

    该研究提出了一种名为 MotionDiff 的扩散概率模型，将人体运动的运动学视为受热的粒子，其自原始状态扩散到噪声分布。该方法通过一种自然的方式获取了 “白化” 的潜在变量，而无需任何可训练参数，证明 MotionDiff 模型在两种数据集上具有竞争力的准确性和多样性表现。

    Oct, 2022

  • 6D-Diff: 一个用于 6D 物体姿态估计的关键点扩散框架

    基于扩散模型和逆扩散算法的 6D 物体姿态估计框架，在减少噪声和不确定性的基础上实现准确的 2D-3D 对应，并通过对物体特征进行条件优化，取得了较好的性能。

    Dec, 2023

  • 二次姿势：离散扩散模型用于遮挡人体三维姿势估计

    连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性，但需要大型搜索空间和大量训练数据，易于生成生物力学上不真实的姿势。为应对这些限制，我们引入了离散扩散姿势（Di2Pose），一种专为遮挡的三维人体姿势估计设计的新型框架，利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示，然后通过离散扩散过程在潜在空间中对其进行建模，将搜索空间限制在物理上可行的配置范围内，并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估（如 Human3.6M、3DPW 和 3DPW-Occ）表明其有效性。

    May, 2024