Mar, 2020

基于归一化流的弱监督 3D 人体姿态和形状重建

PDF
TL;DR本文提出了一种基于运动捕捉数据集和大规模图像和视频数据集的半监督和自监督学习方法，利用运动和不同 iable 的语义身体部位对齐损失函数进行训练，来精确地估计单眼三维人体姿态和形状。实验结果证明，该方法优于现有技术，可用于广泛的真实场景。
monocular 3dhuman posesemi-supervised learningself-supervised learningkinematic latent
发现论文，激发创造
  • 基于归一化流的概率单目三维人体姿态估计

    本文提出了一种基于正规化流的人体 3D 姿态恢复方法，采用多种假设生成可行的 3D 姿势的后验分布，并结合 2D 检测器的不确定性信息建模不确定探测和遮挡，其中学习出的 3D 姿态先验和最优 M 损失的推广是实现成功的关键因素，该方法在人体 3.6M 和 MPI-INF-3DHP 两个基准数据集上优于所有可比方法。

    Jul, 2021

  • HuManiFlow: 在 SO (3) 流形上，对祖先进行调整的正则化流，用于人类姿势和形状分布估计

    本文介绍了一种名为 HuManiFlow 的方法，利用概率分布和正规化流预测 3D 人体姿态和形状，同时具备准确性、一致性和多样性，解决了估计不明确的问题。

    May, 2023

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • ElePose: 通过预测相机高度并在二维姿态上学习归一化流的无监督三维人体姿态估计

    本文提出一种无监督的方法，通过学习从单张图像预测 3D 人体姿态来解决对于许多人类活动尚不存在标注训练数据的挑战，并且采用正则化流和对 2D 和 3D 姿态进行线性子空间投影来提高性能。

    Dec, 2021

  • 基于部件导向的新颖图像合成的自监督三维人体姿态估计

    本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

    Apr, 2020

  • 无监督三维人体姿态估计的运动学结构保留表示

    本文提出了一种采用运动学结构保持无监督学习的 3D 人体姿势估计框架，可以避免使用任何弱监督模型，并通过能量损失和运动学先验知识来训练模型，提高对新环境下的准确性和泛化能力。

    Jun, 2020

  • 无监督几何感知表示用于三维人体姿态估计

    本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

    Apr, 2018

  • 相对论：弱监督数据下的单目三维人体姿态估计

    通过弱监督学习和人群注释者提供的深度相对估计信号，我们提出一种 3D 人体姿势估计算法，用于只在 2D 输入图像中学习。结果竞争力优于目前现有算法，可为在未经过精心控制的现实世界中进行 3D 姿势估计开辟道路。

    May, 2018

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019

  • 基于几何自监督的无监督三维姿态估计

    通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

    Apr, 2019