Nov, 2023

UniHPE：通过对比学习实现统一的人体姿势估计

PDF
TL;DR本文提出了 UniHPE，它是一个统一的人体姿势估计流程，通过同一流程中对所有三种模态进行特征对齐，即 2D 人体姿势估计、基于 lifting 和基于图像的 3D 人体姿势估计。我们提出了一种新的基于奇异值的对比学习损失函数来同时对齐多个模态，从而提高性能。评估结果显示 UniHPE 在 Human3.6M 数据集上的 MPJPE 为 50.5mm，3DPW 数据集上的 PAMPJPE 为 51.6mm，显示出巨大的潜力来推动计算机视觉领域并贡献于各种应用。
perception techniques2d and 3d human pose estimationunihpecontrastive paradigmcomputer vision
发现论文，激发创造
  • 基于深度学习的视觉人体姿势估计调查

    综合综述了基于深度学习的视觉人体姿势估计的方法及应用，并就研究中的挑战和趋势进行了讨论，为初学者和高级研究人员提供了有意义的概述和补充材料。

    Aug, 2023

  • ManiPose：约束流形多假设的三维人体姿态估计

    单目三维人体姿态估计是一个具有固有歧义的任务，我们提出了 ManiPose，一种新颖的多假设模型，通过在人体姿势流形内约束模型，提供多组候选三维姿势，并达到更强一致性，从而超越现有的姿势一致性性能。

    Dec, 2023

  • 无监督从 2D 姿势中重建 3D 人体姿态交互

    研究人员提出了一种无监督多人二维至三维人体姿势估计方法，通过对相机高度角度进行预测，解决了单眼图像中透视模糊问题，实现了精确的人体姿势三维重建，并在 CHI3D 数据集上展示了结果和量化评估。

    Sep, 2023

  • 自动驾驶中的弱监督多模态 3D 人体姿势估计

    一篇研究在自动驾驶汽车中进行弱监督的 3D 人体姿势估计的论文，通过相机和 LiDAR 数据的高级传感器融合实现了简单而高效的方法，通过使用现成的 2D 关节提取器和从 LiDAR 到图像的投影生成虚拟标签进行训练，在弱监督和监督学习设置中均取得了优于现有方法的结果。

    Jul, 2023

  • 基于深度学习的人体姿势估计：综述

    本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述，系统分析和比较了这些解决方案，对研究的挑战，应用和未来方向进行了讨论，包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。

    Dec, 2020

  • 自动驾驶中基于 2D 弱监督的多模态 3D 人体姿态估计

    本文提出了一种在自动驾驶方案中的多模态方法，使用 2D RGB 图像的弱监督进行 3D 人体姿势估计（HPE），进而在 Waymo 开放数据集中取得了比仅基于相机和 LiDAR 的模型更好的效果。

    Dec, 2021

  • EPOCH: 估计相机和人类的三维姿态

    单目人体姿态估计（HPE）是从相机捕捉的单个 2D 图像中确定人体关节的 3D 位置。本研究提出了一种 EPOCH 框架，利用完整的透视相机模型进行姿态估计，并通过无监督学习得到比现有方法更好的泛化性能和最先进的结果。

    Jun, 2024

  • 基于图像的抬举 —— 利用图像线索进行精确的三维人体姿势估计

    深度学习技术用于估计人体姿势时，由于仅凭借 2D 姿势估计存在深度模糊问题，这篇论文提出了一种新的框架，通过利用图像特征和逐步学习的方法解决了泛化能力差的问题，并在多个数据集上取得了最先进的性能。

    Dec, 2023

  • DiffHPE: 稳健、一致的扩散式 3D 人体姿势升级

    我们提出了一种创新方法，结合前沿的扩散模型来进行 3D 人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为 3D-HPE 研究开辟了新的激动人心的领域。

    Sep, 2023

  • 无源域自适应人体姿势估计

    提出了一种新的任务 —— 无源域适应人体姿态估计（HPE），并通过构建源模型、中间模型和目标模型的新框架，从源保护和目标相关两个角度解决了跨域学习的挑战。在几个领域自适应 HPE 基准测试中进行的综合实验表明，该方法在性能上明显优于现有方法。

    Aug, 2023