Jan, 2018

Total Capture: 用于追踪人脸、手和身体的 3D 形变模型

PDF
TL;DR本文研究了一种捕捉多种尺度的人类运动的统一变形模型，称其为 “Frankenstein” 模型，并在基础上优化构建出 “Adam” 模型，使其可以被用于捕捉社交群体的大运动和细微的面部、手势运动。
deformation modelmarkerless capturehuman movementfrankenstein modeladam
发现论文，激发创造
  • 野外单目全身捕捉：头、身体和手势的姿态捕捉

    本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法，利用 3D 可变形网格模型重建运动，使用 3D 部分方向场对所有身体部位的 3D 方向进行编码，在训练集和性能评估方面表现良好，并在各种挑战性的野外视频上演示了总体运动捕捉的结果。

    Dec, 2018

  • FrankMocap：通过回归和整合快速进行单目三维手部和身体动作捕捉

    本文描述了 FrankMocap，它是一种运动捕捉系统，可以从野外单目输入中估计 3D 手部和身体运动，速度更快（9.5 fps）而且比以前的方法精度更高，该方法在近实时（9.5 fps）工作，并将 3D 手和身体运动捕捉输出作为统一参数模型结构产生。

    Aug, 2020

  • FrankMocap: 一种通过回归和集成的单目 3D 全身姿态估计系统

    本文提出了一种快速准确的全身三维姿态估计系统 FrankMocap，该系统通过模块化设计，独立地对面部、手和身体进行三维姿态回归，然后通过集成模块合成回归输出，从而实现同时产生三维面部姿态、手和身体姿态的功能。快速而简单的集成模块可以避免整体优化和端到端方法的缺陷，从而在定量和定性上都显示出了优于现有方法的性能。

    Aug, 2021

  • 具身之手：一体化建模和捕捉手和身体

    本研究提出了一种全新的手部模型（MANO），并使用 MANO 模型，结合标准化的人体三维模型（SMPL）构建了一个全身可动态捕捉的模型（SMPL+H），实现了复杂的人体动作捕捉并保持高度真实性。

    Jan, 2022

  • 使用单目摄像头实时捕捉带有部件相关性的全身动作

    该研究提出了一种用于实时全身捕捉的方法，可以从一张彩色图像中估计身体和手部的形状和运动，同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构，可以高效地利用身体和手部之间的相关性。与先前的方法不同，该方法可以在多个数据集上进行联合训练，而无需同时注释所有部分的数据，从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色，还可以估计统计面部模型的形状，表情，颜色和照明参数。在公共基准测试中，该方法达到了竞争性的准确性，但速度更快，提供了更完整的面部重建。

    Dec, 2020

  • 基于关节级建模的稀疏观测的逼真全身跟踪

    提出了一个两阶段的框架，仅利用头部和手部的追踪信号可以获取准确而平滑的全身动作，通过学习大规模动作数据解决实时身体追踪的问题，并通过关节级特征建模和损失函数设计提高精确度和平滑度。在 AMASS 运动数据集和真实捕获数据上的广泛实验验证了设计的有效性，并表明相比现有方法，我们的提出的方法可以实现更准确和平滑的运动。

    Aug, 2023

  • 基于多视角摄像机的无标记身体运动捕捉技术用于 3D 角色动画制作

    本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统，采用视角多样的相机捕捉人体动作信息，并通过多种技术手段计算出骨骼变换状况，从而能够高效准确地实现三维骨骼重建与实时动画生成。

    Dec, 2022

  • 基于视频的三维人体模型重建

    该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理，该方法仅需使用智能手机或网络摄像头，使每个人都能创建自己的全可动数字双胞胎，如社交 VR 应用或在线时尚购物的虚拟试穿。

    Mar, 2018

  • Decaf：面部和手部交互的单眼变形捕捉

    从单目 RGB 视频中追踪人手与人脸之间的 3D 交互，并建立了可靠的 3D 手部和面部重构方法。

    Sep, 2023

  • 在 4D 中重建和跟踪人类的 Transformers 技术

    本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术，通过 transformerized 版本的 HMR 2.0 网络实现人体重建，使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。

    May, 2023