通过扩散特征聚合进行物体姿态估计
提出一种新颖的姿态估计框架(DiffPose),基于扩散模型将3D姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在Human3.6M和MPI-INF-3DHP等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
该研究利用经过预训练的扩散模型,提出了一种名为ID-Pose的方法,可通过给定两张输入图像来估计相对姿态,该方法不需要训练,可处理多张图像,并且在实际图像中具有广泛应用性。
Jun, 2023
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行3D人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为3D-HPE研究开辟了新的激动人心的领域。
Sep, 2023
iFusion是一个新颖的3D物体重建框架,只需两个未知相机姿态的视图。通过使用预训练的新视图合成扩散模型进行相机姿态估计和新视图合成,iFusion能够在3D物体重建中表现出良好的性能并与其他方法相融合。
Dec, 2023
基于扩散模型和逆扩散算法的6D物体姿态估计框架,在减少噪声和不确定性的基础上实现准确的2D-3D对应,并通过对物体特征进行条件优化,取得了较好的性能。
Dec, 2023
利用物体先验知识,本文提出一种有效的方法,通过合成新视图图像来确定物体姿态,从而准确确定两个视图的相机姿态,并且在大视角变化下展现出卓越的稳健性和泛化性能。
Feb, 2024
提出了一种不需要姿态标注的类别级三维物体姿态估计方法,通过使用扩散模型生成一组具有姿态差异的图像,并利用图像编码器和新颖的学习策略解决噪声和伪影问题,实现了从单次拍摄中对类别级物体姿态的估计,并在少样本类别级物体姿态估计基准上显著优于其他先进方法。
Apr, 2024
连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性,但需要大型搜索空间和大量训练数据,易于生成生物力学上不真实的姿势。为应对这些限制,我们引入了离散扩散姿势(Di2Pose),一种专为遮挡的三维人体姿势估计设计的新型框架,利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示,然后通过离散扩散过程在潜在空间中对其进行建模,将搜索空间限制在物理上可行的配置范围内,并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估(如Human3.6M、3DPW和3DPW-Occ)表明其有效性。
May, 2024
本研究解决了在三维视觉中应用扩散模型的效率和可扩展性问题,尤其是在从二次数据恢复三维场景的准确性挑战。通过对扩散模型的数学原理和架构进展的深入分析,论文阐述了其在三维对象生成、形状补全等任务中的应用。研究的主要发现是,优化计算效率和探索大规模预训练可显著提升三维视觉任务的表现,推动该领域的发展。
Oct, 2024