May, 2024

适应性噪声采样概率恢复的三维人体姿势估计

PDF
TL;DR基于弱监督方法，提出了适用于轻量级单假设模型的概率恢复三维人体姿势评估框架（PRPose），通过逆向映射隐藏概率分布，采用自适应噪声采样策略生成合理的多假设样本，从而解决了 2D 姿势检测误差和 2D 到 3D 非正常问题的限制，实验证明了 PRPose 的有效性和高效性。
3d human pose estimationmulti-hypothesis hpeprobabilistic restoration 3d human pose estimationgenerative modelsweakly supervised approach
发现论文，激发创造
  • 基于扩散的姿态优化与多假设生成的三维人体姿态估计

    我们提出了一种基于扩散的优化框架 DRPose 来改进确定性模型的性能，并借助多噪声的多步骤优化和多假设预测，实现了适用于当前姿势基准的更合适的多假设预测。

    Jan, 2024

  • ManiPose：约束流形多假设的三维人体姿态估计

    单目三维人体姿态估计是一个具有固有歧义的任务，我们提出了 ManiPose，一种新颖的多假设模型，通过在人体姿势流形内约束模型，提供多组候选三维姿势，并达到更强一致性，从而超越现有的姿势一致性性能。

    Dec, 2023

  • 自动驾驶中的弱监督多模态 3D 人体姿势估计

    一篇研究在自动驾驶汽车中进行弱监督的 3D 人体姿势估计的论文，通过相机和 LiDAR 数据的高级传感器融合实现了简单而高效的方法，通过使用现成的 2D 关节提取器和从 LiDAR 到图像的投影生成虚拟标签进行训练，在弱监督和监督学习设置中均取得了优于现有方法的结果。

    Jul, 2023

  • 弱监督生成式网络用于多个 3D 人体姿势假设

    本文提出了一种使用弱监督深度生成网络解决逆问题的方法，该网络设计了一个提议分布来逼近未知的多模态目标后验分布，并通过 KL 散度最小化实现近似，并使用平均漂移算法确定最可行的解决方案。实验结果显示，该方法能够生成多个可行的假设，获得了与现有弱监督方法相比的最新结果。

    Aug, 2020

  • 无监督从 2D 姿势中重建 3D 人体姿态交互

    研究人员提出了一种无监督多人二维至三维人体姿势估计方法，通过对相机高度角度进行预测，解决了单眼图像中透视模糊问题，实现了精确的人体姿势三维重建，并在 CHI3D 数据集上展示了结果和量化评估。

    Sep, 2023

  • DiffHPE: 稳健、一致的扩散式 3D 人体姿势升级

    我们提出了一种创新方法，结合前沿的扩散模型来进行 3D 人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为 3D-HPE 研究开辟了新的激动人心的领域。

    Sep, 2023

  • 基于深度学习的人体姿势估计：综述

    本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述，系统分析和比较了这些解决方案，对研究的挑战，应用和未来方向进行了讨论，包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。

    Dec, 2020

  • FinePOSE: 经控制的高精度 3D 人体姿势估计

    3D 人体姿势估计任务使用 2D 图像或视频预测 3D 空间中的人体关节坐标。本论文提出了一种基于扩散模型的 Fine-Grained Prompt-Driven Denoiser（FinePOSE）用于 3D 人体姿势估计，通过构建细粒度的部分感知提示、建立精细的沟通以及整合动态信息来提高去噪质量，并在公开数据集上展开了广泛实验，显示出 FinePOSE 在单人姿势估计以及多人复杂场景中的潜力。

    May, 2024

  • 提升三维人体姿势估计的鲁棒性：一个基准和从嘈杂输入中学习

    当前的 3D 人体姿势估计技术虽然表现出色，但在复杂的野外视频中理解和提升它们的普适性仍然是一个开放的问题。本文聚焦于 2D 到 3D 姿势提升器的稳健性，并开发了两个基准数据集来检验视频 - based 3D 姿势提升器对包括临时遮挡、动态模糊和像素级噪声在内的一系列常见视频污染的稳健性。我们观察到现有的最先进的 3D 姿势提升器在存在污染的情况下的普适性较差，并提出了两种应对这一问题的技术。首先，我们引入了时间加性高斯噪声 (TAGN) 作为一种简单而有效的 2D 输入姿势数据增强技术。此外，为了将 2D 姿势检测器输出的置信度得分纳入考虑，我们设计了一种置信度感知的卷积 (CA-Conv) 块。通过在受损视频上广泛测试，所提出的策略不断提升了 3D 姿势提升器的稳健性，并为未来研究建立了新的基准。

    Dec, 2023

  • UniHPE：通过对比学习实现统一的人体姿势估计

    本文提出了 UniHPE，它是一个统一的人体姿势估计流程，通过同一流程中对所有三种模态进行特征对齐，即 2D 人体姿势估计、基于 lifting 和基于图像的 3D 人体姿势估计。我们提出了一种新的基于奇异值的对比学习损失函数来同时对齐多个模态，从而提高性能。评估结果显示 UniHPE 在 Human3.6M 数据集上的 MPJPE 为 50.5mm，3DPW 数据集上的 PAMPJPE 为 51.6mm，显示出巨大的潜力来推动计算机视觉领域并贡献于各种应用。

    Nov, 2023