在扩散框架中探索潜在的跨通道嵌入以实现准确的三维人体姿态重建
通过使用新颖的神经表示,我们提出了一种部署友好的、快速的自下而上的多人三维人体姿态估计框架;进一步,我们基于跨模态的对齐问题,提出了一种实用的部署范式,使得我们的模型不仅能够处理现实世界的图像,而且在速度与性能之间实现了更好的平衡。
Aug, 2020
提出一种新颖的姿态估计框架(DiffPose),基于扩散模型将3D姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在Human3.6M和MPI-INF-3DHP等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023
我们提出了一种创新方法,结合前沿的扩散模型来进行3D人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用Human 3.6M数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为3D-HPE研究开辟了新的激动人心的领域。
Sep, 2023
使用单眼相机进行三维人体姿态估计存在深度模糊问题,本文提出了一种基于扩散的三维姿态优化器(D3PRefiner),通过神经网络学习噪声姿态和真实姿态之间的映射关系,从而大幅提高当前的三维姿态估计性能。
Jan, 2024
我们提出了一种基于扩散的优化框架DRPose来改进确定性模型的性能,并借助多噪声的多步骤优化和多假设预测,实现了适用于当前姿势基准的更合适的多假设预测。
Jan, 2024
PADS是一个基于扩散的框架,通过一个统一的流程解决了3D人体姿势分析中的各种挑战,其核心是学习使用扩散合成过程的与任务无关的姿势先验,以有效捕捉人体姿势数据中的运动约束,并将多个姿势分析任务(如估计、完整性、去噪等)统一为逆问题的实例。学到的姿势先验被视为对任务特定约束的正则化约束,通过一系列条件去噪步骤引导优化过程。PADS是第一个基于扩散的框架,用于在逆问题框架内解决一般的3D人体姿势分析,其性能已经在不同的基准测试上得到验证,表明了该流程的适应性和鲁棒性。
Jan, 2024
提出了一种具有层次空间和时间降噪器的解开扩散式的三维人体姿势估计方法,该方法通过在扩散模型的正向过程中解开姿势并扩散骨长和骨方向,以有效建模人体姿势先验。在反向过程中,通过使用层次相关的空间转换器和层次相关的时间转换器来改进每个关节的层次建模,并探索关节之间的层次化时间相关性。
Mar, 2024
连续扩散模型在解决单目三维人体姿势估计中的固有不确定性和不确定性方面表现出有效性,但需要大型搜索空间和大量训练数据,易于生成生物力学上不真实的姿势。为应对这些限制,我们引入了离散扩散姿势(Di2Pose),一种专为遮挡的三维人体姿势估计设计的新型框架,利用离散扩散模型的优势。该方法创新地将三维姿势通过姿势量化步骤转换为离散表示,然后通过离散扩散过程在潜在空间中对其进行建模,将搜索空间限制在物理上可行的配置范围内,并提升了模型理解遮挡对人体姿势的影响的能力。在多个基准数据集上进行的广泛评估(如Human3.6M、3DPW和3DPW-Occ)表明其有效性。
May, 2024
在这篇论文中,我们提出了一种全局方法来利用时空信息,采用紧凑的图和跳过Transformer架构实现高效的三维人体姿势估计。通过使用自适应拓扑的粗粒度身体部件构建空间图网络,在时序编码和解码阶段,使用简单有效的跳过Transformer捕捉长程时序依赖并实现分层特征聚合,同时引入动态信息到二维姿势序列中。通过在Human3.6M、MPI-INF-3DHP和Human-Eva基准测试集上进行广泛实验证明,G-SFormer系列方法相比之前的最新技术表现出更好的性能,仅具有约百分之十的参数量和显著降低的计算复杂度。此外,G-SFormer方法还对检测到的二维姿势不准确表现出卓越的鲁棒性。
Jul, 2024