Sep, 2023

DiffHPE: 稳健、一致的扩散式3D人体姿势升级

HTML
PDF
TL;DR我们提出了一种创新方法，结合前沿的扩散模型来进行3D人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为3D-HPE研究开辟了新的激动人心的领域。
发现论文，激发创造
  • DiffPose: 3D姿态估计更可靠的方法

    提出一种新颖的姿态估计框架(DiffPose)，基于扩散模型将3D姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在Human3.6M和MPI-INF-3DHP等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • 学习结构引导的扩散模型用于二维人体姿态估计

    本文提出了 DiffusionPose，将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题，并通过添加噪声，将关键点扩散到随机分布中，学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图，从而实现从初始化热图的漸進式降噪方式生成热图。此外，本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验，证明了 DiffusionPose 的优越性，在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。

    Jun, 2023

  • 回归优化：基于扩散的零样例三维人体姿势估计

    通过结合基于优化和基于学习的方法，我们提出了Zero-shot Diffusion-based Optimization (ZeDO)管线，用于解决跨领域和野外环境下的3D人体姿态估计问题，并在多种数据集上实现了最先进的性能。

    Jul, 2023

  • DiffPose：基于视频的人体姿势估计的时空扩散模型

    DiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。

    Jul, 2023

  • DPoser: 扩散模型作为稳健的三维人体姿势先验

    DPoser是一种基于扩散模型的强大而多功能的人体姿势先验，它在包括人体网格恢复、姿势完成和动作降噪在内的各种姿势中心应用中无缝集成，并通过采用变分扩散采样进行有效求解，它在多个任务中展示了其优越性。

    Dec, 2023

  • 基于图像的抬举——利用图像线索进行精确的三维人体姿势估计

    深度学习技术用于估计人体姿势时，由于仅凭借2D姿势估计存在深度模糊问题，这篇论文提出了一种新的框架，通过利用图像特征和逐步学习的方法解决了泛化能力差的问题，并在多个数据集上取得了最先进的性能。

    Dec, 2023

  • 基于扩散的姿态优化与多假设生成的三维人体姿态估计

    我们提出了一种基于扩散的优化框架DRPose来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

    Jan, 2024

  • 通过扩散合成进行的3D人体姿势分析

    PADS是一个基于扩散的框架，通过一个统一的流程解决了3D人体姿势分析中的各种挑战，其核心是学习使用扩散合成过程的与任务无关的姿势先验，以有效捕捉人体姿势数据中的运动约束，并将多个姿势分析任务（如估计、完整性、去噪等）统一为逆问题的实例。学到的姿势先验被视为对任务特定约束的正则化约束，通过一系列条件去噪步骤引导优化过程。PADS是第一个基于扩散的框架，用于在逆问题框架内解决一般的3D人体姿势分析，其性能已经在不同的基准测试上得到验证，表明了该流程的适应性和鲁棒性。

    Jan, 2024

  • 二次姿势：离散扩散模型用于遮挡人体三维姿势估计

    连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性，但需要大型搜索空间和大量训练数据，易于生成生物力学上不真实的姿势。为应对这些限制，我们引入了离散扩散姿势（Di2Pose），一种专为遮挡的三维人体姿势估计设计的新型框架，利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示，然后通过离散扩散过程在潜在空间中对其进行建模，将搜索空间限制在物理上可行的配置范围内，并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估（如Human3.6M、3DPW和3DPW-Occ）表明其有效性。

    May, 2024

  • PAFUSE: 基于部分传播的三维全身姿态估计

    我们提出了一种新的方法来进行3D全身姿态估计，解决了由将人体的17个主要关节扩展到脸部和手部的细粒度关键点所带来的尺度和可变性差异的挑战。通过将稳定扩散与预测每个部分（例如，面部）内细粒度关键点相对于局部参考框架的相对位置的分层部分表示相结合，我们不仅解决了在不均匀采样数据中利用运动的挑战，还在H3WB数据集上大大超过了目前的艺术水平，并且与不考虑身体部分特异性的其他时空3D人体姿态估计方法相比，显示出了显著的改进。

    Jul, 2024