野外单目全身捕捉:头、身体和手势的姿态捕捉
该研究提出了一种用于实时全身捕捉的方法,可以从一张彩色图像中估计身体和手部的形状和运动,同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构,可以高效地利用身体和手部之间的相关性。与先前的方法不同,该方法可以在多个数据集上进行联合训练,而无需同时注释所有部分的数据,从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色,还可以估计统计面部模型的形状,表情,颜色和照明参数。在公共基准测试中,该方法达到了竞争性的准确性,但速度更快,提供了更完整的面部重建。
Dec, 2020
提出了一种基于 CNN 的方法,利用现有的 3D 姿势数据和 2D 姿势数据进行迁移学习,在真实场景中实现了最先进的性能,同时引入了一个人类身体姿势估计的新训练集,并提出了一个覆盖室内和室外场景的新基准。
Nov, 2016
本文描述了 FrankMocap,它是一种运动捕捉系统,可以从野外单目输入中估计 3D 手部和身体运动,速度更快(9.5 fps)而且比以前的方法精度更高,该方法在近实时(9.5 fps)工作,并将 3D 手和身体运动捕捉输出作为统一参数模型结构产生。
Aug, 2020
本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法,它采用的是一种新的基于学习的架构设计,使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用,并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。
Mar, 2020
我们介绍了一种重建第二人称 3D 人体网格时间序列的新任务,并通过优化方法的应用解决了视角独特的自我中心视频人体捕捉的技术难题,从而比之前的单眼视频人体动作捕捉方法更准确地估计人体姿态和形状。
Nov, 2020
本文研究了一种捕捉多种尺度的人类运动的统一变形模型,称其为 “Frankenstein” 模型,并在基础上优化构建出 “Adam” 模型,使其可以被用于捕捉社交群体的大运动和细微的面部、手势运动。
Jan, 2018
该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格,通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时,该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集,能够提高 3D 运动估计的准确性,该算法具有实际意义。
May, 2019
本文提出了一种快速准确的全身三维姿态估计系统 FrankMocap,该系统通过模块化设计,独立地对面部、手和身体进行三维姿态回归,然后通过集成模块合成回归输出,从而实现同时产生三维面部姿态、手和身体姿态的功能。快速而简单的集成模块可以避免整体优化和端到端方法的缺陷,从而在定量和定性上都显示出了优于现有方法的性能。
Aug, 2021
本研究利用物理引擎对姿态估计过程进行改进,从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景,并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果,同时不需要重新训练。
May, 2022
本文提出了一种基于学习的方法,通过顺序代理到运动的学习方案和二维骨架序列与三维旋转运动的代理数据集,构建了一个网络来实现全身姿态的实时捕获,且提出了一个具有接触感知功能的神经运动下降模块以及分享身体手部上下文信息以实现更兼容的手腕姿势恢复,从而改善了现有解决方案在进行全身捕获时面临的困难。
Jul, 2023