基于几何自监督的无监督三维姿态估计

Apr, 2019

基于几何自监督的无监督三维姿态估计

Unsupervised 3D Pose Estimation with Geometric Self-Supervision

Ching-Hang Chen, Ambrish Tyagi, Amit Agrawal, Dylan Drover, Rohith MV...

TL;DR通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

Abstract

We present an unsupervised learning approach to recover 3d human pose from 2D skeletal joints extracted from a single image. Our method does not require any multi-view image data, 3D skeletons, correspondences be

unsupervised learning 3d human pose 2d skeletal joints lifting network self-consistency loss

发现论文，激发创造

自监督单张图像下的三维人体姿态估计

本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

Apr, 2023

无监督几何感知表示用于三维人体姿态估计

本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

Apr, 2018

基于部件导向的新颖图像合成的自监督三维人体姿态估计

本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

Apr, 2020

使用多视角几何的自监督学习 3D 人体姿势

本研究提出了一种基于自主学习的 3D 人体姿态估计方法 EpipolarPose，可以不需要 3D 地面真实数据或相机外参信息，通过对多视图图像中的 2D 姿态进行估计，然后利用极线几何获得 3D 姿态和相机几何信息进行训练 3D 姿态估计，实验结果表明，在标准数据集 Human3.6M 和 MPI-INF-3DHP 上，本方法在弱 / 自监督方法中取得了最新的最新最优成果，并提出了一种新的性能度量 Pose Structure Score （PSS）来度量姿势相对于其地面真实性的结构合理性。

Mar, 2019

无监督对抗学习从 2D 关节点位置得到 3D 人体姿势

本文提出了一种使用生成对抗网络进行无监督学习的方法，能够从单张图片的 2D 关节点位置预测出 3D 人体姿态，无需使用 3D 数据集，而且即使在训练时缺乏数据，该方法也能很好地预测 3D 姿态。

Mar, 2018

三维人体姿态估计几何感知表示的弱监督发现

本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

Mar, 2019

能否仅从 2D 投影中学习 3D 姿态？

通过弱监督的方法，使用对抗框架和随机投影层来提高 3D 姿势估计的精确度，该方法不需要 2D 和 3D 点之间的对应关系。实验结果表明该方法在人体 3D 姿势估计任务上表现优秀。

Aug, 2018

野外无监督单目 3D 人体姿态估计 CanonPose

本文提出了一种自我监督的方法，利用未标注的多视角数据学习单图像三维姿态估计器，通过多视角一致性约束将观察到的二维姿态分离成基础的三维姿态和相机旋转，并且提出了新的、无偏的重建目标函数，跨视角和训练样本混合信息。该方法在两个基准数据集（Human3.6M 和 MPII-INF-3DHP）和野外 SkiPose 数据集上进行了评估。

Nov, 2020

走向野外三维人体姿态估计：一种弱监督方法

本文提出了一种混合 2D 和 3D 标签的深度神经网络，通过弱监督迁移学习的方法，将控制实验室环境下的 3D 姿态标签转移到野外图像，使用共享表示直接训练完成增强的 2D 姿态估计子网络和 3D 深度回归子网络，并引入 3D 几何约束来规范 3D 姿态预测，以在无底深度标签的情况下提高准确度。该方法在 2D 和 3D 基准测试中均取得了优异的结果。

Apr, 2017

利用自监督形状与姿态网络从图像集合转换为点云

提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

May, 2020