CVPRMar, 2019

使用多视角几何的自监督学习 3D 人体姿势

PDF
TL;DR本研究提出了一种基于自主学习的 3D 人体姿态估计方法 EpipolarPose，可以不需要 3D 地面真实数据或相机外参信息，通过对多视图图像中的 2D 姿态进行估计，然后利用极线几何获得 3D 姿态和相机几何信息进行训练 3D 姿态估计，实验结果表明，在标准数据集 Human3.6M 和 MPI-INF-3DHP 上，本方法 在弱 / 自监督方法中取得了最新的最新最优成果，并提出了一种新的性能度量 Pose Structure Score （PSS） 来度量姿势相对于其地面真实性的结构合理性。
3d human pose estimationself-supervised learningepipolarposeweakly supervised methodspose structure score
发现论文，激发创造
  • SelfPose3d：自监督的多人多视角 3D 姿势估计

    自我监督方法通过多视角输入图像和伪造姿势进行 3D 姿势估计，不需要 2D 或 3D 真实姿势标签，并且其有效性与完全监督方法相当。

    Apr, 2024

  • 野外无监督单目 3D 人体姿态估计 CanonPose

    本文提出了一种自我监督的方法，利用未标注的多视角数据学习单图像三维姿态估计器，通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转，并且提出了新的、无偏的重建目标函数，跨视角和训练样本混合信息。该方法在两个基准数据集（Human3.6M 和 MPII-INF-3DHP）和野外 SkiPose 数据集上进行了评估。

    Nov, 2020

  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 基于几何自监督的无监督三维姿态估计

    通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

    Apr, 2019

  • 基于部件导向的新颖图像合成的自监督三维人体姿态估计

    本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

    Apr, 2020

  • 无监督几何感知表示用于三维人体姿态估计

    本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

    Apr, 2018

  • 野外多视角图像下的弱监督 3D 人体姿态学习

    本文提出一种基于弱监督方式，利用多视角数据进行 3D 人体姿势估计的学习框架，包括利用 2.5D 表示法的目标函数，经过测试在两个大规模数据集上达到了半监督 / 弱监督方法的最佳表现。

    Mar, 2020

  • 三维人体姿态估计几何感知表示的弱监督发现

    本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

    Mar, 2019

  • 相对论：弱监督数据下的单目三维人体姿态估计

    通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

    May, 2018

  • 3D 人体姿势估计的多视图一致半监督学习

    该论文提出了一种基于多视角视频的多视角一致半监督学习框架，利用未经注释、未校准但同步的多视角视频中的姿态信息相似性作为额外的弱监督信号来引导 3D 人体姿势回归，该方法通过硬负采样来建立多视角一致的姿态嵌入，并结合有限的 3D 姿态注释来完善该模型，从而在两种公开数据集上实现了视角不变的姿态检索。

    Aug, 2019