最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

Mar, 2024

本文提出了一种利用素材学习获取双手的网络来实现手的重建，其中考虑了两种不同的手表示法。通过引入 Mesh-Mano interaction blocks（MMIBs）以及 mesh alignment refinement module，我们的方法在 InterHand2.6M 基准上的表现优于现有的手重建方法，生成效果明显。

Mar, 2023

该论文提出了一种基于三个阶段的新型流程，通过联合阶段、网格阶段和细化阶段，实现准确的手部姿势和形状的 3D 网格重建，从而达到较高的手 - 图像对齐精度和实时性。该流程在基准数据集上具有优越的结果，证明了其高质量的手 - 网格 / 姿态预测和图像对齐性能。

Sep, 2021

基于参数模型的双重噪声估计方法在 3D 手部姿势和形状估计中取得了显著的进展，可以生成与图像对齐的高质量 3D 手部网格。

Dec, 2023

本研究提出了一种全新的手部模型（MANO），并使用 MANO 模型，结合标准化的人体三维模型（SMPL）构建了一个全身可动态捕捉的模型（SMPL+H），实现了复杂的人体动作捕捉并保持高度真实性。

Jan, 2022

介绍了一个数据集和方法，用于研究手 - 物体交互中的三维重建，通过精确的注册和多视角重建，实现了高精度和高细节的对象重建。

Sep, 2023

使用非线性潜在网格表示的手部形状和关节姿态，在照片上进行单目 3D 重建，该模型具有实时性能。

May, 2019

我们提出了一种实时且真实感十足的手部重建方法，称为 3D Points Splatting Hand Reconstruction（3D-PSHR）。我们通过自适应规范点上采样策略实现了高分辨率的手部几何表示，同时提出了一种自适应变形方法，将手部从规范空间变形到目标姿势，适应规范点的动态变化，这种方法相比于常见的 MANO 模型细分，具有更大的灵活性和更好的几何拟合效果。为了建模纹理，我们将外观颜色分解为内在的颜色和姿势感知的阴影，并通过上下文关注模块进行学习。此外，我们的方法允许在端到端的方式下同时训练几何和外观模型。我们通过多个数据集展示了我们的方法能够产生可动画的、逼真的、可重新照明的手部重建结果，包括用手持智能手机捕捉的单目视频和包含多种手部姿势的大规模多视角视频。同时，我们还证明了我们的方法在实时渲染速度方面保持卓越性能，优于现有的最先进方法。

Dec, 2023

通过回收学习策略加强合成手部网格表示，在提高 3D 手势姿态和网格估计方面取得了有效的自我改进。

Oct, 2023

本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构，大大优于最先进的方法，在野外基准测试中将误差减半。

Apr, 2020