生成逼真的手部动作序列与物体的交互在数字人方面越来越受到关注，之前的工作已经证明了利用基于占据或基于距离的虚拟传感器来提取手物体交互特征的有效性，但是这些方法在物体类别、形状和大小方面的泛化能力有限。为了解决这个挑战，我们引入了一种新颖的以关节为中心的传感器，用于推理潜在交互区域附近的局部物体几何。该传感器查询每个手关节附近的物体表面点。我们通过将点从全局坐标系转换为手部模板坐标系，并使用共享模块处理每个独立关节的传感器特征来减少学习复杂性。然后，我们使用时空转换网络捕捉不同维度中关节之间的相关性。此外，我们设计了简单的启发式规则，以扩充有限的训练序列，增加丰富的静态手抓取样本。这样在训练过程中观察到更广泛的抓取类型，从而增强了我们模型的泛化能力。我们在两个公开数据集 GRAB 和 InterCap 上进行评估，结果表明我们的方法在定量和感知上都优于基线模型。

Apr, 2024

通过在计算机图形学、计算机视觉和混合现实等应用中建模真实的手物体相互作用，本研究引入了一种名为 GRIP 的基于学习的方法，从而综合生成符合逻辑的手的运动。通过引入一种新的方法来保证运动的时间一致性并生成一致的交互动作，GRIP 生成了精确的手部姿势，避免手与物体的穿透，实验证明其优于基准方法，并且适用于不同动作捕捉数据集中的不可见物体和动作。

Aug, 2023

利用时空信息重建交互手部的新框架，结合时序上下文与运动平滑性的时间约束，并采用物理碰撞检测模块以实现运动可信的交互手部重建。

Aug, 2023

这篇文章提出了一种手势捕捉框架，其结合了生成模型和歧视性训练显著点，以实现对物体和其他手势之间互动场景的精确捕捉，并使用碰撞检测和物理模拟实现了在遮挡和缺失数据情况下的准确估计，能适用于单目 RGB-D 序列和同步多 RGB 摄像头的设置。

Jun, 2015

我们介绍了第一个注视引导的手 - 物体交互数据集，并提出了一个新颖的注视引导的手 - 物体交互综合任务。我们的数据集 GazeHOI 通过同时建模注视、手和物体的交互，包含 479 个序列，平均持续时间为 19.1 秒，812 个子序列和 33 个具有不同大小的物体。我们提出了一个基于注视引导的手 - 物体交互扩散模型 GHO-Diffusion 的分层框架。我们的广泛实验突出了数据集的独特性及我们方法的有效性。

Mar, 2024

提出一种基于动态机器人辅助手物交互的方法，通过手部姿态估计、自适应机器人控制和运动原语的综合运用，在实现精确任务执行和适应实时动作方面提高了人机物理交互的效果。

May, 2024

在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

Apr, 2019

本文提出了一种实时的手和物体姿态联合追踪方法，利用一个单独的 RGB-D 相机，通过 3D GMM 算法和创新的正则化策略，同时解决了遮挡、快速运动和手与物体重合的问题，辅以判别式手部部分分类和物体分割，实现了实时追踪。实验结果表明，该方法具有速度、准确性和鲁棒性。

Oct, 2016

本研究介绍了一种利用在手扫描中提取三维手部动作并将其融合到三维重建管道中的方法，以实现即使是无特征和高度对称的物体的重建，这将对手持扫描技术的最新进展有重大贡献。

Apr, 2017

模拟手 - 物互动的姿态估计方法，通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位，取得了 3D 手 - 物重建基准测试的最优结果，并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。

Apr, 2020