基于分离的扩散法进行层次空间和时间去噪的3D人体姿势估计
本文提出了一种全新的Siamese去噪自编码器来学习3D姿势表示,通过分离人类骨架数据的姿势和视图特征来进行全面无监督的学习,并借助序列双向递归网络(SeBiReNet)来考虑运动学和几何依赖性, 实现了在姿势去噪和无监督动作识别等问题上的最佳表现。
Jul, 2020
提出一种新颖的姿态估计框架(DiffPose),基于扩散模型将3D姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在Human3.6M和MPI-INF-3DHP等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023
本文提出了一种新的人体姿势变形建模方法,并设计了一种基于扩散的运动先验。通过非刚性运动结构重建3D人体骨骼的任务分为估计3D参考骨架和逐帧骨架变形。同时使用混合时空NRSfMformer从2D观察序列中估计每一帧的3D参考骨架和骨架变形,并将它们相加得到每一帧的姿势。最后,使用基于扩散模型的损失项确保管道学习正确的先验运动知识。最终,在主流数据集上评估了提出的方法,并获得了优于现有技术的结果。
Aug, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行3D人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为3D-HPE研究开辟了新的激动人心的领域。
Sep, 2023
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器(D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
Jan, 2024
我们提出了一种基于扩散的优化框架DRPose来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
Jan, 2024
通过探索三维坐标和二维投影之间的关联,引入一个新的跨通道嵌入框架,并利用上下文引导机制促进联合图注意力在迭代扩散过程中的传播,以提高单目三维人体姿态估计的重建精度。该方法在Human3.6M和MPI-INF-3DHP两个基准数据集上的实验证明了与最先进方法相比的显着改进。
Jan, 2024
连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性,但需要大型搜索空间和大量训练数据,易于生成生物力学上不真实的姿势。为应对这些限制,我们引入了离散扩散姿势(Di2Pose),一种专为遮挡的三维人体姿势估计设计的新型框架,利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示,然后通过离散扩散过程在潜在空间中对其进行建模,将搜索空间限制在物理上可行的配置范围内,并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估(如Human3.6M、3DPW和3DPW-Occ)表明其有效性。
May, 2024
我们提出了一种新的方法来进行3D全身姿态估计,解决了由将人体的17个主要关节扩展到脸部和手部的细粒度关键点所带来的尺度和可变性差异的挑战。通过将稳定扩散与预测每个部分(例如,面部)内细粒度关键点相对于局部参考框架的相对位置的分层部分表示相结合,我们不仅解决了在不均匀采样数据中利用运动的挑战,还在H3WB数据集上大大超过了目前的艺术水平,并且与不考虑身体部分特异性的其他时空3D人体姿态估计方法相比,显示出了显著的改进。
Jul, 2024