回归优化:基于扩散的零样例三维人体姿势估计
我们提出了一种创新方法,结合前沿的扩散模型来进行 3D 人体姿势估计(3D-HPE),并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集,我们证明了该方法的有效性,并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明,独立的扩散模型能提供出色的性能,而与监督模型结合使用,它们的准确性更高,为 3D-HPE 研究开辟了新的激动人心的领域。
Sep, 2023
本文介绍一个新的零样本视角估计管道,主要基于 3D 模型的零样本实例分割和零样本姿态估计。实验结果表明,该方法在速度和计算成本方面优于当前零样本状态的最佳方法。
May, 2023
通过在 3D 视觉领域运用 Contrastive Language-Image Pre-training (CLIP) 方法,本论文提出了一个更具挑战性的 3D 开放姿态零样本分类基准,并通过设计一个简洁的角度优化机制以及将 2D 预训练扩散模型应用于 3D 零样本分类,成功提高了模型性能,验证了扩散方法在 3D 零样本任务中的有效性。
Dec, 2023
提出了一种名为 PoMZ 的新方法,通过融合预训练的几何和图像模型,实现了零样本物体 6D 位姿估计的最新进展,该方法无需任务特定的微调,在 BOP 基准测试中在无法见到的物体的 6D 定位领域取得了第一名。
Dec, 2023
一篇研究在自动驾驶汽车中进行弱监督的 3D 人体姿势估计的论文,通过相机和 LiDAR 数据的高级传感器融合实现了简单而高效的方法,通过使用现成的 2D 关节提取器和从 LiDAR 到图像的投影生成虚拟标签进行训练,在弱监督和监督学习设置中均取得了优于现有方法的结果。
Jul, 2023
本文提出了 DiffusionPose,将 2D 人体姿态估计问题定义为噪声热图的关键点热图生成问题,并通过添加噪声,将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,从而实现从初始化热图的漸進式降噪方式生成热图。此外,本文还进一步探究了从人体结构信息中提取条件以提高 DiffusionPose 的性能。经过广泛的实验,证明了 DiffusionPose 的优越性,在广泛使用的 COCO、CrowdPose 和 AI Challenge 数据集上分别提高了 1.6、1.2 和 1.2 mAP。
Jun, 2023
基于单摄像头的 3D 姿势估计一直是个不确定问题,本研究提出了 Platypose 框架,利用预训练的扩散模型对零样本的 3D 姿势序列估计进行更好的多假设运动估计,同时在静态姿势和校准方面取得了最先进的结果。
Mar, 2024
本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述,系统分析和比较了这些解决方案,对研究的挑战,应用和未来方向进行了讨论,包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。
Dec, 2020
本文提出了 UniHPE,它是一个统一的人体姿势估计流程,通过同一流程中对所有三种模态进行特征对齐,即 2D 人体姿势估计、基于 lifting 和基于图像的 3D 人体姿势估计。我们提出了一种新的基于奇异值的对比学习损失函数来同时对齐多个模态,从而提高性能。评估结果显示 UniHPE 在 Human3.6M 数据集上的 MPJPE 为 50.5mm,3DPW 数据集上的 PAMPJPE 为 51.6mm,显示出巨大的潜力来推动计算机视觉领域并贡献于各种应用。
Nov, 2023