我们提出了一种基于物理的方法来合成全身手物交互。通过通过一个层次化框架，并结合强化学习和物理仿真，我们首先在解耦环境中学习身体和手部运动的技能先验。然后，我们使用一个新颖的奖励函数训练一个高层策略，以在预训练的潜在空间中控制手物交互。我们的方法成功完成了从接近物体到抓取和后续操纵的完整交互任务，并展示出比基于运动学的基线方法更具物理合理性的动作。

Sep, 2023

基于物理约束的手 - 物体重构模型，利用合成数据集 ObMan 进行模型训练和验证，达到手 - 物交互场景下的稳定手部姿势和可行物体形状重构。

Apr, 2019

将物理学应用于人体动作捕捉以避免浮动、脚滑与地面穿透等问题，并利用物理学作为去噪引导来从建模的姿态概率分布中重构合理的人体动作，实验证明我们的方法在关节准确性和成功率上优于之前的基于物理的方法。

Aug, 2023

通过利用可微化的物理和渲染技术，我们提出了 HandyPriors，一个统一且通用的流水线框架，用于在人 - 物互动场景中进行姿态估计，它通过渲染先验和物理先验来实现图像和分割掩码的对齐，减轻帧之间的穿透和相对滑动问题，并提供了两种手部和物体姿态估计的选择，基于优化的姿态估计可以获得更高的精度，而基于滤波的追踪则更快地使用可微的先验作为动力学和观测模型，我们展示了 HandyPriors 在姿态估计任务中获得了可比较或更好的结果，并且可以根据不同 iable 的物理模块预测接触信息，同时我们还展示了我们的方法在机器人手操纵和野外人 - 物姿态估计等感知任务中的泛化能力。

Nov, 2023

研究了利用强化学习和物理模拟方法实现动态抓取合成任务，将该任务分解为底层抓取和高层运动合成，并生成逼真的人类手部运动序列

Dec, 2021

这篇文章提出了一种手势捕捉框架，其结合了生成模型和歧视性训练显著点，以实现对物体和其他手势之间互动场景的精确捕捉，并使用碰撞检测和物理模拟实现了在遮挡和缺失数据情况下的准确估计，能适用于单目 RGB-D 序列和同步多 RGB 摄像头的设置。

Jun, 2015

生成逼真的手部动作序列与物体的交互在数字人方面越来越受到关注，之前的工作已经证明了利用基于占据或基于距离的虚拟传感器来提取手物体交互特征的有效性，但是这些方法在物体类别、形状和大小方面的泛化能力有限。为了解决这个挑战，我们引入了一种新颖的以关节为中心的传感器，用于推理潜在交互区域附近的局部物体几何。该传感器查询每个手关节附近的物体表面点。我们通过将点从全局坐标系转换为手部模板坐标系，并使用共享模块处理每个独立关节的传感器特征来减少学习复杂性。然后，我们使用时空转换网络捕捉不同维度中关节之间的相关性。此外，我们设计了简单的启发式规则，以扩充有限的训练序列，增加丰富的静态手抓取样本。这样在训练过程中观察到更广泛的抓取类型，从而增强了我们模型的泛化能力。我们在两个公开数据集 GRAB 和 InterCap 上进行评估，结果表明我们的方法在定量和感知上都优于基线模型。

Apr, 2024

该研究提出了一种基于深度传感器和一种先进的 3D 手姿估计器的模型，使用模型自由的混合强化学习和模仿学习方法训练代理来实现虚拟环境中手 - 物体交互，通过引入物理约束，使得机器人能够完成更高效的手 - 物体操作。

Aug, 2020

模拟手 - 物互动的姿态估计方法，通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位，取得了 3D 手 - 物重建基准测试的最优结果，并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。

Apr, 2020

我们提出了一种基于数据驱动的粗糙动作细化方法，通过手为中心的表示和建模手与物体的动态时空关系，捕捉手物互动的动态线索，并在实验证明我们的方法在性能上优于之前的方法。

Jan, 2024