基于扩散的姿态优化与多假设生成的三维人体姿态估计
本文提出了一种名为Multi-Hypothesis Transformer (MHFormer)的模型,旨在通过学习多个合理的姿势假设的空时表示,解决单目视频中的3D人体姿态估计问题,并在两个具有挑战性的数据集上取得了最新的最优结果。
Nov, 2021
该论文提出了一种名为AdaptPose的端到端框架,通过生成合成的3D人体动作数据,并在新数据集上通过微调来提高3D姿态估计模型的泛化能力,该方法成功地比之前的交叉数据集评估方法和使用部分3D注释的半监督学习方法改进了14%和16%。
Dec, 2021
提出一种新颖的姿态估计框架(DiffPose),基于扩散模型将3D姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在Human3.6M和MPI-INF-3DHP等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
本文提出了 DiffusionPose,将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题,并通过添加噪声,将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,从而实现从初始化热图的漸進式降噪方式生成热图。此外,本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验,证明了 DiffusionPose 的优越性,在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
Jun, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行3D人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为3D-HPE研究开辟了新的激动人心的领域。
Sep, 2023
DPoser是一种基于扩散模型的强大而多功能的人体姿势先验,它在包括人体网格恢复、姿势完成和动作降噪在内的各种姿势中心应用中无缝集成,并通过采用变分扩散采样进行有效求解,它在多个任务中展示了其优越性。
Dec, 2023
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器(D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
Jan, 2024
PADS是一个基于扩散的框架,通过一个统一的流程解决了3D人体姿势分析中的各种挑战,其核心是学习使用扩散合成过程的与任务无关的姿势先验,以有效捕捉人体姿势数据中的运动约束,并将多个姿势分析任务(如估计、完整性、去噪等)统一为逆问题的实例。学到的姿势先验被视为对任务特定约束的正则化约束,通过一系列条件去噪步骤引导优化过程。PADS是第一个基于扩散的框架,用于在逆问题框架内解决一般的3D人体姿势分析,其性能已经在不同的基准测试上得到验证,表明了该流程的适应性和鲁棒性。
Jan, 2024
基于弱监督方法,提出了适用于轻量级单假设模型的概率恢复三维人体姿势评估框架(PRPose),通过逆向映射隐藏概率分布,采用自适应噪声采样策略生成合理的多假设样本,从而解决了2D姿势检测误差和2D到3D非正常问题的限制,实验证明了PRPose的有效性和高效性。
May, 2024
本研究解决了现有基于扩散模型的人像生成方法在姿势一致性方面的不足。我们提出了一种利用姿势先验的图关系框架,通过构建姿势先验与扩散模型潜在表示之间的图拓扑结构,学习姿势部位间的内在关联。实验结果表明,该方法在姿势平均精度上相比最新基准模型提高了9.98%。
Aug, 2024