基于扩散的姿态优化与多假设生成的三维人体姿态估计
基于弱监督方法,提出了适用于轻量级单假设模型的概率恢复三维人体姿势评估框架(PRPose),通过逆向映射隐藏概率分布,采用自适应噪声采样策略生成合理的多假设样本,从而解决了 2D 姿势检测误差和 2D 到 3D 非正常问题的限制,实验证明了 PRPose 的有效性和高效性。
May, 2024
我们提出了一种创新方法,结合前沿的扩散模型来进行 3D 人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为 3D-HPE 研究开辟了新的激动人心的领域。
Sep, 2023
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器 (D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
Jan, 2024
3D 人体姿势估计任务使用 2D 图像或视频预测 3D 空间中的人体关节坐标。本论文提出了一种基于扩散模型的 Fine-Grained Prompt-Driven Denoiser(FinePOSE)用于 3D 人体姿势估计,通过构建细粒度的部分感知提示、建立精细的沟通以及整合动态信息来提高去噪质量,并在公开数据集上展开了广泛实验,显示出 FinePOSE 在单人姿势估计以及多人复杂场景中的潜力。
May, 2024
本文提出了 DiffusionPose,将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题,并通过添加噪声,将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,从而实现从初始化热图的漸進式降噪方式生成热图。此外,本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验,证明了 DiffusionPose 的优越性,在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
Jun, 2023
本文提出了一种姿势导向的自注意机制和基于距离的位置嵌入的 Pose-Oriented Transformer (POT) 以明确利用人类骨骼拓扑,并通过考虑每个关节的预测不确定度进行不确定性引导的采样策略和自注注意机制来优化 POT 的姿态预测。实验结果表明,在 3D HPE 基准测试中,我们的方法在减少模型参数并且比其他最先进方法的性能显著提高。
Feb, 2023
连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性,但需要大型搜索空间和大量训练数据,易于生成生物力学上不真实的姿势。为应对这些限制,我们引入了离散扩散姿势(Di2Pose),一种专为遮挡的三维人体姿势估计设计的新型框架,利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示,然后通过离散扩散过程在潜在空间中对其进行建模,将搜索空间限制在物理上可行的配置范围内,并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估(如 Human3.6M、3DPW 和 3DPW-Occ)表明其有效性。
May, 2024
本文提出了一种使用弱监督深度生成网络解决逆问题的方法,该网络设计了一个提议分布来逼近未知的多模态目标后验分布,并通过 KL 散度最小化实现近似,并使用平均漂移算法确定最可行的解决方案。实验结果显示,该方法能够生成多个可行的假设,获得了与现有弱监督方法相比的最新结果。
Aug, 2020
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023