更好的 3D 假标注配方:野外 3D 人体网格估计的三种方法
本文提出了一种混合 2D 和 3D 标签的深度神经网络,通过弱监督迁移学习的方法,将控制实验室环境下的 3D 姿态标签转移到野外图像,使用共享表示直接训练完成增强的 2D 姿态估计子网络和 3D 深度回归子网络,并引入 3D 几何约束来规范 3D 姿态预测,以在无底深度标签的情况下提高准确度。该方法在 2D 和 3D 基准测试中均取得了优异的结果。
Apr, 2017
本文使用 Exemplar Fine-Tuning 的方法,通过合并 2D 数据集和高质量的 3D 姿态拟合标注数据,实现在真实环境下的 3D 姿态估计,并针对遮挡、截断和罕见人体姿势等现实挑战提出了新的基准测试数据,并且使用基于人类的评估方法验证了所提出的方法具有更好的性能和更好的效果。
Apr, 2020
研究人员提出了一种基于立体视觉启发的神经网络技术和几何搜索方案来生成高质量的 3D 姿势地面真实数据,使不需要专业训练模式和辅助损失函数的神经网络模型在野外图像数据中实现良好的 3D 姿态估计结果。
Apr, 2019
本文提出了一种使用弱监督深度生成网络解决逆问题的方法,该网络设计了一个提议分布来逼近未知的多模态目标后验分布,并通过 KL 散度最小化实现近似,并使用平均漂移算法确定最可行的解决方案。实验结果显示,该方法能够生成多个可行的假设,获得了与现有弱监督方法相比的最新结果。
Aug, 2020
本文提出了一种基于姿势的轻量级方法 GTRS,它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格,从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估,GTRS 方法在仅使用 10.2% 的参数和 2.5% 的 FLOPs 的同时,比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。
Nov, 2021
通过基于扩散模型的 HumanWild 方法,我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补,从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。
Mar, 2024
本文提出了一种基于卷积神经网络的深度学习方法,用于单目 3D 人体姿态估计,具有高精度和更好的野外场景泛化能力,可以联合在具有 3D 标签和仅有 2D 标签的图像数据上进行训练,并在具有挑战性的野外数据上实现了最先进的准确性。
Apr, 2019
本篇论文提出 SyntheticP3D 数据集和 CC3D 方法,结合这两种方法可以实现在只用 10% 的真实数据的情况下,与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果,在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。
May, 2023
本论文提出了一种基于 ClothWild 的 3D 服装人体重建框架,通过一种弱监督管道和 DensePose-based 损失函数解决了 training 和 in-the-wild 数据之间的大型领域差距,在公开数据集上得到了比现有技术更准确和更健壮的结果。
Jul, 2022
本研究提出了一种新的数据增强方法,该方法基于分层的人类表示和启发式先验知识,并且可以有效地合成未看见的三维人类骨骼,用于训练二维到三维网络,实验结果表明,我们的方法不仅在最大的公共基准测试中取得了最先进的准确性,而且对未见过的和罕见的姿势的泛化能力也得到了显著提高。
Jun, 2020