从合成人中学习
我们提出了一种人体姿态模型,可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的RGB和深度图像。通过开发一个综合训练数据的框架,我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中,我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。
Jul, 2017
本文提出了一种在“野外”环境中进行三维人体姿态估计的解决方案,通过生成大量的具有三维姿势标注的逼真合成图像,并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练,成功地在受控环境(Human3.6M)中优于大多数已发表的作品,并在真实图像(LSP)中展现了有前途的结果。
Feb, 2018
通过提取运动信息(光流和二维关键点),我们展示了神经网络方法可以在仅使用SURREAL合成数据的情况下与最先进的基于真实3D序列训练的方法相媲美地从3D视角估计人体姿态。
Jul, 2019
本研究探索了使用全合成或合成增强真实数据的两种方法来解决多人二维姿势估计的问题,并研究了哪种方法更好地推广到真实数据,以及虚拟人物在训练损失中的影响。通过使用增强数据集,且不考虑训练损失中的合成数据,可以得到最佳结果。该研究还使用对抗性师生框架,发现不是所有的合成样本对训练都有同样的信息量,且信息量会随着训练阶段的不同而发生变化。
Aug, 2019
本文提出一种利用深度图像结合卷积神经网络实现快速且可靠的多人姿态估计算法的方案,可以有效地应用于人机交互领域;具体贡献包括提出了基于残差块的快速网络、构建了包括170k多张人体合成图像与真实标注数据在内的公开数据集用于评估,证明了该模型在真实数据上性能良好。
Oct, 2019
本文提出了 STRAPS 系统,它利用代理表示法(如轮廓线和 2D 关节点)作为输入,使用合成数据来培训形状和姿态回归神经网络,以克服数据稀缺性问题,并在人体形状估计方面的具有挑战性的SSP-3D数据集上表现出色,其精度超过其他最先进的方法。
Sep, 2020
通过基于扩散模型的 HumanWild 方法,我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补,从而在3D人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。
Mar, 2024