HMP:从视频中估计姿态和形状的手部运动先验
本研究提出了一种名为 LEMO 的人体运动先验方法来从单目视频中恢复复杂场景中高质量的 3D 人体运动,该方法利用大规模运动捕捉数据集 AMASS,引入了一种新的运动平滑性先验,可大大减少序列中出现的姿态抖动,并通过自监督学习获得了接触和遮挡感知的运动插值器和接触摩擦项。结果显示,LEMO 方法可用于 4D 人体捕获,恢复流畅运动和物理合理的人体 - 场景交互。
Aug, 2021
本文提出了一种基于学习深度先验的新型 3D 手部形态综合和估计方法,其中利用了身体运动和手势之间的相关性,采用网络进行 3D 手部姿态估计训练并得到了优良的效果。
Jul, 2020
本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法,它采用的是一种新的基于学习的架构设计,使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用,并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。
Mar, 2020
本文提出了一种半自动标记方法,该方法可以高效地标记手深度视频的每一帧,从而获得 3D 关节位置数据用于训练手势估计模型,并在手势识别领域取得了最先进的精度。
May, 2016
通过视觉远程操作收集数据和获取姿态估计和接触信息,提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习,可以提高联合手和关节物体姿态估计的性能。
May, 2023
该论文提出了一种新方法,利用多视角投影和学习的姿态先验,通过多视角热图来回归手部姿态,最终得出三维手势估计,实验表明该方法在难以应对的数据集上取得了优异表现。
Jun, 2016
本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法,并使用数据驱动的三维形状先验进行训练,结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。
May, 2023
通过将运动先验以对抗的方式整合进来,本文针对神经网络模型在人体姿态回归中要求对身体运动先验的作用进行了探索和研究,并证明了该算法在 3D 领域中具有较高的鲁棒性和准确性。
May, 2023
本研究提出了一种新的训练 3D 手势估计模型的框架,使用自监督学习模型(TASSN)从仅具有 2D 信息的视频中学习,通过强制时间一致性约束,TASSN 可以学习从视频中推断 3D 手势和网格的技能,并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上,强调了时间一致性在限制 3D 预测模型方面的优点。
Dec, 2020
通过使用卷积神经网络结构,从单个深度图像中学习手部姿势,骨骼比例和复杂形状参数,以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格,利用 SynHand5M 数据集,在综合数据集上展示了良好的效果。
Aug, 2018