DPoser: 扩散模型作为稳健的三维人体姿势先验
提出一种新颖的姿态估计框架(DiffPose),基于扩散模型将3D姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在Human3.6M和MPI-INF-3DHP等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
为解决估计人体姿态和形状方法在真实场景中可能面临的数据偏移问题,本文提出了一种基于解释性参数的模拟器和一种学习测试方法PoseExaminer,该方法利用多智能体强化学习系统协作探索高维人体姿态图像参数空间,通过揭示现有模型的局限性,并利用PoseExaminer发现的失败模式来进行微调,提高现有方法的鲁棒性和性能。
Mar, 2023
Motion-DVAE是一种用于捕捉人类动作的短期依赖项的动作先验,与Motion-DVAE配套使用的是一种无监督学习去噪方法来进行实时三维人体姿势估计。
Jun, 2023
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行3D人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为3D-HPE研究开辟了新的激动人心的领域。
Sep, 2023
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器(D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
Jan, 2024
我们提出了一种基于扩散的优化框架DRPose来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
Jan, 2024
PADS是一个基于扩散的框架,通过一个统一的流程解决了3D人体姿势分析中的各种挑战,其核心是学习使用扩散合成过程的与任务无关的姿势先验,以有效捕捉人体姿势数据中的运动约束,并将多个姿势分析任务(如估计、完整性、去噪等)统一为逆问题的实例。学到的姿势先验被视为对任务特定约束的正则化约束,通过一系列条件去噪步骤引导优化过程。PADS是第一个基于扩散的框架,用于在逆问题框架内解决一般的3D人体姿势分析,其性能已经在不同的基准测试上得到验证,表明了该流程的适应性和鲁棒性。
Jan, 2024
连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性,但需要大型搜索空间和大量训练数据,易于生成生物力学上不真实的姿势。为应对这些限制,我们引入了离散扩散姿势(Di2Pose),一种专为遮挡的三维人体姿势估计设计的新型框架,利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示,然后通过离散扩散过程在潜在空间中对其进行建模,将搜索空间限制在物理上可行的配置范围内,并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估(如Human3.6M、3DPW和3DPW-Occ)表明其有效性。
May, 2024
本研究解决了在3D人体姿态估计中使用SMPL模型时,确保配置有效性的挑战。这篇论文提出了MOPED,一个首创的多模态条件扩散模型,作为SMPL姿态参数的先验,能够根据图像和文本等多模态输入进行姿态生成,显著提高了姿态估计、去噪和完成等任务的表现。
Oct, 2024