基于 Sim2real 转移学习的 3D 人体姿势估计:动作拯救
本文提出了使用由 3D 运动捕捉数据生成的合成真实人形图像的大规模数据集 (SURREAL) 来训练卷积神经网络 (CNNs),并且通过该数据集训练的 CNNs 在 RGB 图像中可以准确地进行人物深度估计和人物部分分割。
Jan, 2017
本篇论文提出 SyntheticP3D 数据集和 CC3D 方法,结合这两种方法可以实现在只用 10% 的真实数据的情况下,与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果,在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。
May, 2023
本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案,通过生成大量的具有三维姿势标注的逼真合成图像,并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练,成功地在受控环境(Human3.6M)中优于大多数已发表的作品,并在真实图像(LSP)中展现了有前途的结果。
Feb, 2018
该论文提出了一种采用基于图像合成方法生成真实图片数据集以训练 CNN 模型,用于解决 3D 人体姿态估计缺少真实数据的问题,并通过在受控环境和实境的表现表明其可行性。
Jul, 2016
通过使用合成数据,我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法,成功地跨越了所谓的现实间隙,并通过机器人进行了实时物体姿态估计,取得了与基于真实数据的深度神经网络相当的表现。
Sep, 2018
本文提出了一种针对复杂的人体部位像素回归问题的领域自适应技术,利用精选混合域样本构成的训练批次、深度批量规范化残差网络和多任务学习目标来缓解跨域间协变量漂移,实现了对 2.5D DensePose 估计和 3D 人体表面法线估计任务的实际到仿真转移,并在多人 DensePose MSCOCO 基准测试中超越了基于真实图像的 State-of-the-art 方法,从而提出了一种互补于现有领域自适应技术的方法,可以应用于其他密集像素姿态估计问题。
Jul, 2020
本文提出了一种基于合成图像或少量真实图像训练的 6D 物体位姿估计方法,使用第一网络获得粗略姿态估计后,使用第二网络预测精细的二维对应场,并推断所需的姿态纠正,该方法在显著减少合成图像与真实图像领域差异的情况下具有与需要标注真实图像训练的方法相当的性能,而在使用 20 张真实图像时,它的性能明显优于它们。
Mar, 2022
通过使用中间的二维表示,可学习的校准和三角测量来适应更多样化的相机设置,逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义,通过广泛的基准测试,特别是针对野外场景的未见过的情况下,我们展示了所提出的解决方案的优越性。
Dec, 2022
本研究旨在通过人体姿态空间的采样和真实图像纹理的提取,建立一个全自动,可扩展的方法来合成姿态注释的图像,从而为 3D 姿态估计任务提供合成培训数据,最终证明 CNNs 在合成图像上训练可以在 3D 姿态估计任务上胜过在真实照片上训练。
Apr, 2016