FrankMocap:通过回归和整合快速进行单目三维手部和身体动作捕捉
本文提出了一种快速准确的全身三维姿态估计系统 FrankMocap,该系统通过模块化设计,独立地对面部、手和身体进行三维姿态回归,然后通过集成模块合成回归输出,从而实现同时产生三维面部姿态、手和身体姿态的功能。快速而简单的集成模块可以避免整体优化和端到端方法的缺陷,从而在定量和定性上都显示出了优于现有方法的性能。
Aug, 2021
本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法,利用 3D 可变形网格模型重建运动,使用 3D 部分方向场对所有身体部位的 3D 方向进行编码,在训练集和性能评估方面表现良好,并在各种挑战性的野外视频上演示了总体运动捕捉的结果。
Dec, 2018
本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法,它采用的是一种新的基于学习的架构设计,使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用,并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。
Mar, 2020
该研究提出了一种用于实时全身捕捉的方法,可以从一张彩色图像中估计身体和手部的形状和运动,同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构,可以高效地利用身体和手部之间的相关性。与先前的方法不同,该方法可以在多个数据集上进行联合训练,而无需同时注释所有部分的数据,从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色,还可以估计统计面部模型的形状,表情,颜色和照明参数。在公共基准测试中,该方法达到了竞争性的准确性,但速度更快,提供了更完整的面部重建。
Dec, 2020
本论文提出了一种名为 SportsCap 的方法,利用数据驱动的多任务方式,从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作,并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性,从而具有分析运动和评分的各种应用。
Apr, 2021
本文研究了一种捕捉多种尺度的人类运动的统一变形模型,称其为 “Frankenstein” 模型,并在基础上优化构建出 “Adam” 模型,使其可以被用于捕捉社交群体的大运动和细微的面部、手势运动。
Jan, 2018
提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架,通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞,推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R,并在强光条件下对真实数据具有更高的三维重建精度。
Dec, 2023
本文提出了一种基于学习的方法,通过顺序代理到运动的学习方案和二维骨架序列与三维旋转运动的代理数据集,构建了一个网络来实现全身姿态的实时捕获,且提出了一个具有接触感知功能的神经运动下降模块以及分享身体手部上下文信息以实现更兼容的手腕姿势恢复,从而改善了现有解决方案在进行全身捕获时面临的困难。
Jul, 2023
本文提出了一种新颖的方法,利用深度卷积神经网络来对 2D 关节点位置进行建模,并通过期望最大化算法来恢复 3D 几何体,从而实现了对不带标记的单个摄像头的全身人体姿态估计。
Jan, 2017
本研究提出了一种全新的手部模型(MANO),并使用 MANO 模型,结合标准化的人体三维模型(SMPL)构建了一个全身可动态捕捉的模型(SMPL+H),实现了复杂的人体动作捕捉并保持高度真实性。
Jan, 2022