通过扩散辅助束调整解决姿态估计问题
基于光线组合的相机姿势的分布式表示以及基于回归和扩散的方法,在 CO3D 数据集上展现了最新的性能,并在未见过的物体类别和野外捕捉中表现出广泛适应性。
Feb, 2024
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022
本研究设计了一种以物理驱动的 DeepSFM 体系结构,对深度和姿态进行估计,在显式结构约束和深度学习技术的共同作用下,实现了与传统 BA 和新兴深度学习技术的优点相结合的分离拍摄下位姿和深度估计
Dec, 2019
DiffPose 是一种新颖的扩展扩散模型,将基于视频的人体姿势估计作为条件热图生成问题,并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。
Jul, 2023
基于扩散模型和逆扩散算法的 6D 物体姿态估计框架,在减少噪声和不确定性的基础上实现准确的 2D-3D 对应,并通过对物体特征进行条件优化,取得了较好的性能。
Dec, 2023
提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法,利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计;实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹,并在全静态场景上保持合理的摄像机姿态准确度,这也印证了基于光流和点轨迹的密集间接方法的潜力。
Jul, 2022
本文提出了一个新颖的端到端框架,用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层,我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块,我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。
Aug, 2023
mmDiff 是一种针对嘈杂雷达数据的新型扩散式姿势估计器,解决了人体部分的漏检和环境干扰引起的信号不一致性等两个关键挑战,通过设计多个模块提供可靠的条件,显著优于现有方法,在公共数据集上实现了最先进的性能。
Mar, 2024
本文提出了一种新的人体姿势变形建模方法,并设计了一种基于扩散的运动先验。通过非刚性运动结构重建 3D 人体骨骼的任务分为估计 3D 参考骨架和逐帧骨架变形。同时使用混合时空 NRSfMformer 从 2D 观察序列中估计每一帧的 3D 参考骨架和骨架变形,并将它们相加得到每一帧的姿势。最后,使用基于扩散模型的损失项确保管道学习正确的先验运动知识。最终,在主流数据集上评估了提出的方法,并获得了优于现有技术的结果。
Aug, 2023