ICCVNov, 2023

高效的自监督人体姿势估计与归纳先验调整

PDF
TL;DR简化中文摘要：本文探讨了改善自监督人体姿势估计的方法，包括分析重建质量与姿势估计准确性的关系，提出了一个优于基准模型的模型流水线，使用不到三分之一的训练数据量，并提出了一种适用于自监督环境的度量，用于衡量预测身体部位长度比例的一致性。结果表明，在自监督范式中，精心设计的重建损失和归纳假设可以帮助协调姿势估计和重建。
2d human pose estimationself-supervised methodsreconstruction problempose estimation accuracyreconstruction losses
发现论文，激发创造
  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 基于部件导向的新颖图像合成的自监督三维人体姿态估计

    本文提出了一种基于自监督学习的框架，利用单个基于零件的 2D 木偶模型、人体姿势约束和一组未配对的 3D 姿势来区分摄像机捕捉的人体姿态中的变化，从而在不同视频中提高多个任务的性能，包括 3D 姿势估计和部分分割。

    Apr, 2020

  • 基于 Transformer 的姿态估计测试时间个性化

    本论文提出了一种个性化的深度神经网络技术，通过 fine-tuning 和使用 Transformer 模型，利用自我监督目标来适应每个测试样本，从而显著提高人体姿态估计模型的表现。

    Jul, 2021

  • 野外半监督无约束头部姿态估计

    通过利用大量未标记的野外头部图像，我们提出了第一个半监督的无约束头部姿势估计（SemiUHPE）方法，该方法可以应对多样性和复杂性较高的头部姿势领域，并使用动态熵过滤来自适应地去除未标记的异常值，并通过两种新的面向头部的强增强技术进一步提高了性能。

    Apr, 2024

  • 基于几何自监督的无监督三维姿态估计

    通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

    Apr, 2019

  • 通过感知有根据的风格迁移学习增强古代花瓶绘画中的人体姿态估计

    通过图像风格迁移优化数据集并微调模型，使其在古希腊花瓶绘画领域的姿势估计任务上获得更优秀的性能。

    Dec, 2020

  • 无监督从 2D 姿势中重建 3D 人体姿态交互

    研究人员提出了一种无监督多人二维至三维人体姿势估计方法，通过对相机高度角度进行预测，解决了单眼图像中透视模糊问题，实现了精确的人体姿势三维重建，并在 CHI3D 数据集上展示了结果和量化评估。

    Sep, 2023

  • 使用解剖学特征和迭代学习进行自监督优化的手势估计方法

    研究报告提出了一种自我监督学习框架，结合手势估计和手势识别，用于解决手势识别在复杂场景中的困难，以提高手动组装场景下的活动识别的准确性和鲁棒性。

    Jul, 2023

  • 基于深度学习的人体姿势估计：综述

    本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述，系统分析和比较了这些解决方案，对研究的挑战，应用和未来方向进行了讨论，包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。

    Dec, 2020

  • 自动驾驶中的弱监督多模态 3D 人体姿势估计

    一篇研究在自动驾驶汽车中进行弱监督的 3D 人体姿势估计的论文，通过相机和 LiDAR 数据的高级传感器融合实现了简单而高效的方法，通过使用现成的 2D 关节提取器和从 LiDAR 到图像的投影生成虚拟标签进行训练，在弱监督和监督学习设置中均取得了优于现有方法的结果。

    Jul, 2023