CVPRApr, 2019

通过单张图片捕捉 3D 手、面部和身体表达

PDF
TL;DR本研究提出了通过单目图像计算实现人体姿态、手部姿态和面部表情三维模型的方法，主要使用了一个新的、一致的、包含完全表达手和面部表情的人体模型 SMPL-X，可以对受控图像和自然环境图片进行三维模型匹配。
3d modelhuman body posefacial expressionsmpl-xmonocular image
发现论文，激发创造
  • 基于身体驱动注意力的单目表情体态回归

    本研究通过 ExPose 方法，在 RGB 图像中直接完成人体、面部和手部的三维捕捉及表达，与现有优化方法相比，更加准确、高效。

    Aug, 2020

  • SMPL 约简：从单张图片自动估计三维人体姿态和形状

    本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

    Jul, 2016

  • 协同回归使用调节表达身体

    通过整合不同算法的结果，使用 SMPL-X 公共空间，以及考虑人类形体和性别的关联关系，PIXIE 可以从单一图像中生成具有逼真面部细节的全身三维动画角色。与现有技术相比，PIXIE 获得更准确的全身形状和细节面部形状。

    May, 2021

  • 多视角图像中的多人姿态估计与形状感知

    本文提出了一种基于多视图图像的多人姿态估计方法，在统计参数体模型的引导下，这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测，将 2D 和 3D 观测联系起来，从而更准确地估计 3D 姿态并且具有较好的泛化性能，实验表明该方法的效果优于现有的方法。

    Oct, 2021

  • 基于时间的准确无标记人体形态和姿势估计

    本文提出了一种基于 SMPLify 方法的全自动方法，可以从多视角视频中估计三维人体运动和身体形状，并利用 CNN 方法和 DCT 时间先验方法来提高精度，并且在标准基准测试中的结果与最先进的方法相当，同时还提供了一个逼真的 3D 形状 Avatar。

    Jul, 2017

  • 使用单目摄像头实时捕捉带有部件相关性的全身动作

    该研究提出了一种用于实时全身捕捉的方法，可以从一张彩色图像中估计身体和手部的形状和运动，同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构，可以高效地利用身体和手部之间的相关性。与先前的方法不同，该方法可以在多个数据集上进行联合训练，而无需同时注释所有部分的数据，从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色，还可以估计统计面部模型的形状，表情，颜色和照明参数。在公共基准测试中，该方法达到了竞争性的准确性，但速度更快，提供了更完整的面部重建。

    Dec, 2020

  • 具身之手：一体化建模和捕捉手和身体

    本研究提出了一种全新的手部模型（MANO），并使用 MANO 模型，结合标准化的人体三维模型（SMPL）构建了一个全身可动态捕捉的模型（SMPL+H），实现了复杂的人体动作捕捉并保持高度真实性。

    Jan, 2022

  • SMPLer-X: 扩展性人体姿势和形状估计

    通过大数据和大模型，本研究扩展了表达性人体姿势和形状估计 (EHPS) 模型，命名为 SMPLer-X，采用 ViT-Huge 作为骨干，并使用来自不同数据源的 450 万个实例进行训练。SMPLer-X 在多个测试基准上展现出强大性能，并且对于未知环境具有极高的可迁移性。

    Sep, 2023

  • 野外单目全身捕捉：头、身体和手势的姿态捕捉

    本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法，利用 3D 可变形网格模型重建运动，使用 3D 部分方向场对所有身体部位的 3D 方向进行编码，在训练集和性能评估方面表现良好，并在各种挑战性的野外视频上演示了总体运动捕捉的结果。

    Dec, 2018

  • 利用多视角图像进行形状感知人体姿态和形状重建

    使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格，并在现实图像上表现优异，特别是在形状估计方面。

    Aug, 2019