Aug, 2023

PoSynDA: 多假设姿态合成域适应用于稳健的三维人体姿态估计

PDF
TL;DR通过多假设姿势合成领域适应（PoSynDA）框架，本研究克服了当前 3D 人体姿势估计器在适应新数据集方面的挑战，而无需繁琐的目标域注释。利用扩散中心结构，PoSynDA 模拟了目标域中的 3D 姿势分布，填补了数据多样性缺口。通过结合多假设网络，它创建了多样的姿势假设，并将其与目标域对齐。目标特定的源增强从源域中以解耦比例和位置参数的方式获得目标域分布数据。师生范式和低秩适应进一步完善了该过程。PoSynDA 在 Human3.6M、MPI-INF-3DHP 和 3DPW 等基准测试中表现出竞争力，甚至与目标训练的 MixSTE 模型相当。这项工作为实际应用 3D 人体姿势估计铺平了道路。代码可在链接中获取。
3d human pose estimationdataset adaptationmulti-hypothesistarget domain annotationdata diversity
发现论文，激发创造
  • Learnable Motion Generation 实现 3D 人体姿势估计的跨数据集自适应

    该论文提出了一种名为 AdaptPose 的端到端框架，通过生成合成的 3D 人体动作数据，并在新数据集上通过微调来提高 3D 姿态估计模型的泛化能力，该方法成功地比之前的交叉数据集评估方法和使用部分 3D 注释的半监督学习方法改进了 14% 和 16%。

    Dec, 2021

  • 通过扩散合成进行的 3D 人体姿势分析

    PADS 是一个基于扩散的框架，通过一个统一的流程解决了 3D 人体姿势分析中的各种挑战，其核心是学习使用扩散合成过程的与任务无关的姿势先验，以有效捕捉人体姿势数据中的运动约束，并将多个姿势分析任务（如估计、完整性、去噪等）统一为逆问题的实例。学到的姿势先验被视为对任务特定约束的正则化约束，通过一系列条件去噪步骤引导优化过程。PADS 是第一个基于扩散的框架，用于在逆问题框架内解决一般的 3D 人体姿势分析，其性能已经在不同的基准测试上得到验证，表明了该流程的适应性和鲁棒性。

    Jan, 2024

  • 室内 3D 物体检测的 Syn-to-Real 无监督领域自适应

    本文提出了一种新颖的面向室内三维物体检测的对象层次域对齐（OHDA）框架，其中包括一种面向对象的数据增强策略以有效地使源域数据多样化，并引入了一个由对抗训练分支和伪标记分支组成的两分支自适应框架，以同时达到整体级和类别级的域对齐，通过适应结果的改进在 Synthetic 数据集 3D-FRONT 到真实数据集 ScanNetV2 和 SUN RGB-D 上分别取得了分别为 9.7％和 9.1％的 mAP25 改进。

    Jun, 2024

  • 基于合成数据的鲁棒性类别层次 3D 姿态估计

    本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。

    May, 2023

  • 从合成到真实：用于动物姿态估计的无监督域适应

    本文提出了一种基于多尺度领域自适应模型以及一种在线粗到细的伪标签更新策略的方法来解决动物姿势估计中标签不足的问题，并在未见过的领域和未见过的动物类别上进行了广泛测试，取得了还不错的实验效果。

    Mar, 2021

  • 无源域自适应人体姿势估计

    提出了一种新的任务 —— 无源域适应人体姿态估计（HPE），并通过构建源模型、中间模型和目标模型的新框架，从源保护和目标相关两个角度解决了跨域学习的挑战。在几个领域自适应 HPE 基准测试中进行的综合实验表明，该方法在性能上明显优于现有方法。

    Aug, 2023

  • 缓解人类水平转移：多人姿态估计的稳健领域自适应方法

    本文提出了一种新颖的领域适应方法，用于多人姿态估计，以进行人类级别的拓扑结构对齐和细粒度特征对齐。通过三个模块实现：交叉注意力特征对齐（CAFA），域内结构自适应（ISA）和域间人 - 拓扑对齐（IHTA）模块，证明了该算法优于现有最佳算法。

    Aug, 2020

  • 多样化的合成数据中的人体姿态对于航空视角人体检测的作用

    我们提出了一个用于多样化合成数据集中人体姿势的框架，该框架利用姿势生成器构造一组新颖的姿势，并使用图像翻译器改变现有合成数据集中的图像以呈现新颖的姿势，同时保持原始风格。通过实验证明，无论合成数据如何被用于训练，以及数据规模如何，利用多样化的合成数据集进行训练都比在少样本情况下使用原始合成数据集对于三个航拍人体检测基准（VisDrone，Okutama-Action 和 ICG）的准确性通常明显更好。

    May, 2024

  • 多领域姿态网络用于多人姿态估计和跟踪

    该论文提出一种名为 MDPN 的模型，采用多源学习的方法，结合预测头微调和多分支组合，并在没有额外数据集的情况下，在 PoseTrack ECCV 2018 挑战赛中取得最佳表现。

    Oct, 2018

  • 多级对齐的领域自适应姿态估计

    我们提出了一种多层次域适应方法，利用图像风格转换、对抗训练和自监督学习来同时在图像、特征和姿态水平上进行域间对齐，实现了在姿态估计中的显著改进，超越了现有最先进算法，对人体姿态的改进高达 2.4％，对狗的改进高达 3.1％，对羊的改进高达 1.4％。

    Apr, 2024