BEDLAM:一个合成数据集,展示身体具有详细的逼真动态
本文提出了使用由3D运动捕捉数据生成的合成真实人形图像的大规模数据集(SURREAL)来训练卷积神经网络(CNNs),并且通过该数据集训练的CNNs在RGB图像中可以准确地进行人物深度估计和人物部分分割。
Jan, 2017
本篇研究提出了一种名为 BodyNet 的神经网络,通过直接推断体积棱柿,从而预测自然图像中的三维人体形状,同时结合三维损失和多视角重投影损失以及适当的监督,实现了性能的提升;通过将 SMPL 模型应用于网络输出,并在 SURREAL 和 Unite the People 数据集上展示了最先进的结果,证明了本方法的有效性。
Apr, 2018
本文提出了基于视频的身体姿态和形状估计方法(VIBE),利用现有的大规模运动捕捉数据集(AMASS)和无配对的野外2D关键点注释,通过对抗学习框架,利用AMASS区分真实人体运动和由时态姿态和形状回归网络生成的运动,得到运动检测序列,具有动力学合理性,成功地解决了基于视频的人体三维姿态估计的挑战问题。
Dec, 2019
本文提出了 STRAPS 系统,它利用代理表示法(如轮廓线和 2D 关节点)作为输入,使用合成数据来培训形状和姿态回归神经网络,以克服数据稀缺性问题,并在人体形状估计方面的具有挑战性的SSP-3D数据集上表现出色,其精度超过其他最先进的方法。
Sep, 2020
利用Differentiable Semantic Rendering(DSR)loss来训练一个人体回归器,从而从单目图像中回归出3D人体形状和姿势。在DSR loss中,利用了服装的语义信息来惩罚有衣和没衣的区域,从而更好的匹配服装区和未穿衣区,同时为了确保可微的训练,从成千上万个衣服扫描中学习SMPL顶点的语义衣服先验。在3DPW和Human3.6M上优于先前的最先进的方法,并在MPI-INF-3DHP上获得了与之相当的结果。
Oct, 2021
通过采集互联网上的时尚模特图片和一小部分人体测量数据,以及用于各种三维身体网格的语言形状属性,我们训练了一种名为SHAPY的神经网络,该模型可从RGB图像中回归出三维人物的姿态以及形状。在新的HBW数据集上进行测试,SHAPY在三维人体形状估计任务上表现出色,明显优于现有技术。
Jun, 2022
通过基于扩散模型的 HumanWild 方法,我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补,从而在3D人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。
Mar, 2024