通过观察静止人物学习移动人物的深度
利用全数据驱动的方法计算深度,通过对非刚性场景开发一种新数据集,其中包括大量的非刚性对象,特别是人,提出了一种损失函数进行深度预测,评估方法并表明该方法对自然场景具有更好的泛化能力。
Apr, 2019
该研究论文提出了一个自监督学习的方法,用于估计细节丰富的人体深度,并通过照片一致性损失以及 SMPL 模型和 3D 非刚性运动来解决非刚性运动问题,无需真实数据,更容易应用于实际数据集中,最终实验表明其性能表现优异。
May, 2020
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本研究提出了一种新的方法,使用相邻视频帧的一致性作为监督信号,同时从单目视频中学习深度预测、自运动、目标运动和相机内参数,并且首次实现对相机内参进行无监督学习,从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在 Cityscapes、KITTI 和 EuRoC 数据集上验证了正确性,并取得了新的最佳性能。
Apr, 2019
我们提出了一种新的测试时间优化方法,可以将仿射不变深度模型的健壮性转移到具有挑战性的多样化场景,同时确保帧间一致性,每个视频帧只需优化几十个参数。实验证明,我们的方法在五个零样本测试数据集上实现了最先进的跨数据集重建。
Aug, 2023
本文介绍了一种基于物理模型的方法,用于从视频中推断 3D 人体运动,该方法利用初始的 2D 和 3D 姿态估计作为输入,并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示,相较于纯运动学方法,该方法能够显著地提高动作的真实性和准确性。
Jul, 2020
本研究提出一种方法,利用单眼光度一致性为唯一的监督,联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计,通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化,有效提高了单眼深度预测模型的准确性。
Oct, 2020
本文提出了一种基于学习的模型,利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状,可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019
本文提出了一种无监督学习框架,通过使用视图合成作为监督信号,同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明,我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力,并且在相似的输入设置下,姿态估计表现良好。
Apr, 2017
该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理,该方法仅需使用智能手机或网络摄像头,使每个人都能创建自己的全可动数字双胞胎,如社交 VR 应用或在线时尚购物的虚拟试穿。
Mar, 2018