基于身体驱动注意力的单目表情体态回归

ECCVAug, 2020

基于身体驱动注意力的单目表情体态回归

Monocular Expressive Body Regression through Body-Driven Attention

Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, Michael J. Black

TL;DR本研究通过 ExPose 方法，在 RGB 图像中直接完成人体、面部和手部的三维捕捉及表达，与现有优化方法相比，更加准确、高效。

Abstract

To understand how people look, interact, or perform tasks, we need to quickly and accurately capture their 3D body, face, and hands together from an RGB image. Most existing methods focus only on parts of the body. A few recent approaches reconstruct full expressive 3D humans from images using 3D body models that include the face and hands. These methods are

3d body capture facial and hand recognition smpl-x format body-driven attention expressive 3d human estimation

发现论文，激发创造

通过单张图片捕捉 3D 手、面部和身体表达

本研究提出了通过单目图像计算实现人体姿态、手部姿态和面部表情三维模型的方法，主要使用了一个新的、一致的、包含完全表达手和面部表情的人体模型 SMPL-X，可以对受控图像和自然环境图片进行三维模型匹配。

Apr, 2019

协同回归使用调节表达身体

通过整合不同算法的结果，使用 SMPL-X 公共空间，以及考虑人类形体和性别的关联关系，PIXIE 可以从单一图像中生成具有逼真面部细节的全身三维动画角色。与现有技术相比，PIXIE 获得更准确的全身形状和细节面部形状。

May, 2021

走向强健而富表现力的全身人体姿势和形状估计

我们提出了一个新的框架来增强全身姿势和形状估计的鲁棒性，其中包括三个模块以从三个角度解决上述挑战：1）定位模块，2）对比特征提取模块，3）像素对齐模块，并通过全面实验证明了该框架在身体、手、脸和全身基准测试上的有效性。

Dec, 2023

使用单目摄像头实时捕捉带有部件相关性的全身动作

该研究提出了一种用于实时全身捕捉的方法，可以从一张彩色图像中估计身体和手部的形状和运动，同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构，可以高效地利用身体和手部之间的相关性。与先前的方法不同，该方法可以在多个数据集上进行联合训练，而无需同时注释所有部分的数据，从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色，还可以估计统计面部模型的形状，表情，颜色和照明参数。在公共基准测试中，该方法达到了竞争性的准确性，但速度更快，提供了更完整的面部重建。

Dec, 2020

从单目 RGB 视频生成富有表达力的高斯人类虚拟形象

本研究聚焦于通过学习来自单目 RGB 视频的人类化身的表现力，介绍了一种可驾驶的人类模型 EVA，该模型通过基于 3D 高斯分布和 SMPL-X 的精细塑造，旨在提升表现力；研究重点包括解决 SMPL-X 模型与 RGB 帧对齐的重要性、上下文感知的密度控制策略以及预测的反馈机制。在两个基准测试上进行的大量实验证明了我们的框架在定量和定性上的优越性，尤其在手部和面部细节方面。

Jul, 2024

SMPL 约简：从单张图片自动估计三维人体姿态和形状

本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

Jul, 2016

GEA：从单目视频中重建表达丰富的 3D 高斯化身

该论文介绍了一种名为 GEA 的新方法，基于 3D 高斯模型，创建具有高保真度的身体和手部重建，提出了两个关键贡献：一是通过两阶段姿势估计方法从输入图像中获取准确的 SMPL-X 姿势，提供训练图像像素与 SMPL-X 模型之间的正确映射；二是提出了迭代初始化策略来处理高斯表示面临的不平衡聚合和初始化偏差问题，通过网格化、重采样和重新高斯化等操作将 avatar 的高斯点均匀分布在人体表面附近，实现了更高质量的渲染，验证了所提模型的有效性，展示了其在照片逼真的新视图合成和对人体姿势的细致控制方面达到了最先进的性能。

Feb, 2024

基于隐变量 2.5D 热力图回归的手部姿态估计

本文提出一种使用 2.5D 姿势表示的新方法来从单目图像中估计 3D 手部姿态，通过使用深度图和热力图分布来训练卷积神经网络 (CNN) 模型，该模型在多个数据集上实现了最先进 2D 和 3D 手部姿态的估计。

Apr, 2018

多视角图像中的多人姿态估计与形状感知

本文提出了一种基于多视图图像的多人姿态估计方法，在统计参数体模型的引导下，这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测，将 2D 和 3D 观测联系起来，从而更准确地估计 3D 姿态并且具有较好的泛化性能，实验表明该方法的效果优于现有的方法。

Oct, 2021

野外单目全身捕捉：头、身体和手势的姿态捕捉

本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法，利用 3D 可变形网格模型重建运动，使用 3D 部分方向场对所有身体部位的 3D 方向进行编码，在训练集和性能评估方面表现良好，并在各种挑战性的野外视频上演示了总体运动捕捉的结果。

Dec, 2018