最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

Mar, 2024

本文提出了一种通过卷积神经网络和分步优化的方式从单个 RGB 图像中重建精确的三维手部网格模型，以促进人机交互和人类行为理解，并在 InterHand2.6M 等大规模数据集上进行了广泛的定量和定性分析。

Nov, 2021

提出了一种新的 3D 手部网格估计网络 HandOccNet，该网络可充分利用遮挡区域的信息来增强图像特征，设计了两个基于 Transformer 的模块来将手部信息注入遮挡区域，并使用自我注意机制优化输出，从而在具有挑战性的手物体遮挡的 3D 手部网格基准测试中取得了最先进的表现。

Mar, 2022

本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

Feb, 2023

本论文提出了一种新思路，用于实时跟踪并重构双手的姿态和形状。该方法通过能源最小化框架，将手部姿态和形状模型以及基于深度神经网络的高密度对应预测器嵌入其中，以实现快速运行，实时处理以及自动化调整。同时，文中还提到，该模型得到了场景复杂度不断升级的改进，并达到了同类研究领域的最高水准。

Jun, 2021

本文提出了一种利用素材学习获取双手的网络来实现手的重建，其中考虑了两种不同的手表示法。通过引入 Mesh-Mano interaction blocks（MMIBs）以及 mesh alignment refinement module，我们的方法在 InterHand2.6M 基准上的表现优于现有的手重建方法，生成效果明显。

Mar, 2023

我们提出了 Implicit Two Hands (Im2Hands)，这是第一个用于表示两只交互手的神经隐含表示方法。与现有的两手重建方法不同，Im2Hands 可以生成高度与图像一致的两只手的细粒度几何图形，同时解决了形状复杂性和交互背景带来的问题。我们的实验结果表明，与相关方法相比，Im2Hands 在两手重建方面取得了最先进的结果。

Feb, 2023

本文提出了一种基于深度学习的新方法（HMDN），用于解决基于图像预测 3D 手模型的姿态参数的问题，该方法可以处理自我遮挡问题，并在两个有遮挡的数据集上超越现有的方法。

Nov, 2017

本论文提出 DIGIT 方法，通过将每个像素的语义部分分割和视觉特征融合形成卷积层，实现从单目图像中估算两只相互交互手的三维姿势，试验表明该方法在 InterHand2.6M 数据集上取得了最新的最佳性能。

Jul, 2021

提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

Dec, 2023