无监督三维人体姿态估计的运动学结构保留表示

AAAIJun, 2020

无监督三维人体姿态估计的运动学结构保留表示

Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation

Jogendra Nath Kundu, Siddharth Seth, Rahul M V, Mugalodi Rakesh, R. Venkatesh Babu...

TL;DR本文提出了一种采用运动学结构保持无监督学习的 3D 人体姿势估计框架，可以避免使用任何弱监督模型，并通过能量损失和运动学先验知识来训练模型，提高对新环境下的准确性和泛化能力。

Abstract

Estimation of 3D human pose from monocular image has gained considerable attention, as a key step to several human-centric applications. However, generalizability of human pose estimation models developed using supervision on large-scale in-studio datasets remains questionable, as these models often perform unsatisfactorily on unseen in-the-wild environments

3d human pose estimation unsupervised learning kinematic structure energy-based loss generalization

发现论文，激发创造

基于部件导向的新颖图像合成的自监督三维人体姿态估计

本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

Apr, 2020

三维人体姿态估计几何感知表示的弱监督发现

本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

Mar, 2019

从结构和动作学习 3D 人体姿势

使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

Nov, 2017

无监督几何感知表示用于三维人体姿态估计

本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

Apr, 2018

使用面具作为监督：利用统一的面具信息进行无监督的 3D 姿势估计

通过利用掩膜监督进行无监督三维姿势估计，本文提出了一个统一框架，该框架利用从粗到精的骨架和人体表示，从而实现了对无标注数据的处理和可直接使用的估计结果。实验证明了我们在 Human3.6M 和 MPI-INF-3DHP 数据集上的最新姿势估计性能，并通过在野外数据集上的进一步实验说明了模型具有获取更多数据以提升性能的能力。

Dec, 2023

基于几何自监督的无监督三维姿态估计

通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

Apr, 2019

自监督单张图像下的三维人体姿态估计

本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

Apr, 2023

基于归一化流的弱监督 3D 人体姿态和形状重建

本文提出了一种基于运动捕捉数据集和大规模图像和视频数据集的半监督和自监督学习方法，利用运动和不同 iable 的语义身体部位对齐损失函数进行训练，来精确地估计单眼三维人体姿态和形状。实验结果证明，该方法优于现有技术，可用于广泛的真实场景。

Mar, 2020

相对论：弱监督数据下的单目三维人体姿态估计

通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

May, 2018

使用多视角几何的自监督学习 3D 人体姿势

本研究提出了一种基于自主学习的 3D 人体姿态估计方法 EpipolarPose，可以不需要 3D 地面真实数据或相机外参信息，通过对多视图图像中的 2D 姿态进行估计，然后利用极线几何获得 3D 姿态和相机几何信息进行训练 3D 姿态估计，实验结果表明，在标准数据集 Human3.6M 和 MPI-INF-3DHP 上，本方法在弱 / 自监督方法中取得了最新的最新最优成果，并提出了一种新的性能度量 Pose Structure Score （PSS）来度量姿势相对于其地面真实性的结构合理性。

Mar, 2019