三维人体姿态估计中的领域泛化的双增强框架
该研究提出了 PoseAug,一个基于数据自动增强的框架,能通过增加训练姿态的多样性来提高 2D 到 3D 姿态估计器的泛化性能,该框架引入了姿势增强器来调整姿态的各种几何因素,并介绍了适用于评估局部关节角度可信度的 Kinematic Chain Space。该研究的实验结果表明,在训练数据集有限的情况下,算法能显著地提高估计器的性能。
May, 2021
提出对抗数据增强方法来优化神经网络模型的训练,通过生成难度较高的增强操作来让网络进行学习,实现训练的同时进行数据增强,对人体姿势估计问题进行实验测试,证明该方法能够显著提高模型性能而不需要额外的数据增强。
May, 2018
本论文提出了一种对抗性学习框架,利用基于多源鉴别器的几何描述符对在野外场景下的 2D 姿态注释图像进行 3D 人体姿态估计。实验证明,该方法在公共基准测试上明显优于以往的最先进方法。
Mar, 2018
本文提出了一种混合 2D 和 3D 标签的深度神经网络,通过弱监督迁移学习的方法,将控制实验室环境下的 3D 姿态标签转移到野外图像,使用共享表示直接训练完成增强的 2D 姿态估计子网络和 3D 深度回归子网络,并引入 3D 几何约束来规范 3D 姿态预测,以在无底深度标签的情况下提高准确度。该方法在 2D 和 3D 基准测试中均取得了优异的结果。
Apr, 2017
本研究提出了一种新的数据增强方法,该方法基于分层的人类表示和启发式先验知识,并且可以有效地合成未看见的三维人类骨骼,用于训练二维到三维网络,实验结果表明,我们的方法不仅在最大的公共基准测试中取得了最先进的准确性,而且对未见过的和罕见的姿势的泛化能力也得到了显著提高。
Jun, 2020
该论文提出了一种名为 AdaptPose 的端到端框架,通过生成合成的 3D 人体动作数据,并在新数据集上通过微调来提高 3D 姿态估计模型的泛化能力,该方法成功地比之前的交叉数据集评估方法和使用部分 3D 注释的半监督学习方法改进了 14% 和 16%。
Dec, 2021
使用优化方法和生成先验结合对基于小数据集的婴儿 2D 和 3D 姿势估计进行领域自适应,证明 ZeDO-i 方法能够在只有少量数据的情况下获得高效的领域自适应,并在 SyRIP 数据集上取得 43.6 mm、MINI-RGBD 数据集上取得 21.2 mm 的最先进 MPJPE 性能。
Nov, 2023
本研究系统地研究了简单、基于规则的图像增强方法(如模糊、噪声、色彩抖动等)对深度神经网络(DNNs)的领域内外泛化能力。 实验结果表明,对多个不同的图像增强进行组合优于单独使用单个图像增强,并且与最先进的领域泛化方法相比表现相当。
Apr, 2023
该论文提出了一种采用基于图像合成方法生成真实图片数据集以训练 CNN 模型,用于解决 3D 人体姿态估计缺少真实数据的问题,并通过在受控环境和实境的表现表明其可行性。
Jul, 2016
通过多假设姿势合成领域适应(PoSynDA)框架,本研究克服了当前 3D 人体姿势估计器在适应新数据集方面的挑战,而无需繁琐的目标域注释。利用扩散中心结构,PoSynDA 模拟了目标域中的 3D 姿势分布,填补了数据多样性缺口。通过结合多假设网络,它创建了多样的姿势假设,并将其与目标域对齐。目标特定的源增强从源域中以解耦比例和位置参数的方式获得目标域分布数据。师生范式和低秩适应进一步完善了该过程。PoSynDA 在 Human3.6M、MPI-INF-3DHP 和 3DPW 等基准测试中表现出竞争力,甚至与目标训练的 MixSTE 模型相当。这项工作为实际应用 3D 人体姿势估计铺平了道路。代码可在链接中获取。
Aug, 2023