最近，3D 手部重建在人机合作中越来越受关注，特别是在手物互动场景中。然而，由于交互造成的严重手部遮挡问题，仍然存在巨大挑战，包括准确性和物理可信度的平衡、模型参数的高度非线性映射以及遮挡特征的增强。为了克服这些问题，我们提出了一种结合基于模型和无模型方法的 3D 手部重建网络，以在手物互动场景中平衡准确性和物理可信度。首先，我们提出了一种从 2D 关节点直接回归 MANO 姿势参数的新型模块，避免了从抽象图像特征进行高度非线性映射的过程，也不再依赖于准确的 3D 关节点。此外，我们进一步提出了一个由 MANO 引导的顶点 - 关节点相互图注意模型，共同精细化手部网格和关节点，模拟了顶点 - 顶点和关节点 - 关节点的依赖关系，并分别捕捉了顶点 - 关节点的相关性，以聚合图内节点和图间节点特征。实验结果表明，我们的方法在最新的基准数据集 HO3DV2 和 Dex-YCB 上取得了竞争性能，并且优于所有仅基于模型和无模型方法。

Mar, 2024

通过弱监督学习的 3D 卷积网络结构，结合两种不同的手部形状表示，将手部表面映射到体素化手型图形之中，得到比现有手部姿态估计方法更加准确的结果，并在真实数据上通过体素化深度图扩充策略使得模型更具泛化性能。

Apr, 2020

使用单个 RGB 图像提出一种新的框架，实现了 3D 手部形状重构和手 - 物体抓握优化，通过 UV 坐标映射的密集表示方法替代了以往稀疏点的接触区域近似，同时引入了推理时间优化来微调抓握，实现了更好的手部形状重构准确性和质感。在 Ho3D，FreiHAND 和 DexYCB 等数据集上进行的实验表明，我们的方法优于现有技术。

Nov, 2022

本文提出了一种协作学习策略的算法，通过两个深度网络分支相互学习并解决注意力和联合信息传输的问题，实现鲁棒的手部和物体位姿估计与三维重建。

Apr, 2022

本文提出了一种通过从单个深度图中回归网格模型顶点坐标来恢复手部密集 3D 表面的方法，使用两阶段 2D 完全卷积网络架构和可微分算子来实现，能够通过自我监督实现更好的效果，表现优异。

Jul, 2019

本文提出一种新方法，通过引入 2D 遮挡澄清和物理接触约束，从而处理遮挡下的表面重建问题，该方法在测试集上表现优于现有方法，HO3D 效果提高了 52%，HOD 效果提高了 20%。

Dec, 2023

本文介绍了一种全新的图像操作技术 HOReeNet，它通过增加手势、物体和其相互作用来实现目标图像的转移和 3D 手势的调整，此技术是第一个针对这种任务提出的可微分框架。通过与传统的图像转换算法和仿真算法进行比较，证明该方法能够达到最先进的水平。

Nov, 2022

使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

Apr, 2022

利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

May, 2024

本研究提出了一种基于多模态数据融合和图神经网络的机器人手部操作姿态估计方法，利用物体特征结构和内部的感性信息来提高估计精度，并在 YCB 数据集和实际机器人操作中进行了验证。

Jun, 2023