通过观察手在自然野外环境下的视频，本文致力于实现交互对象的理解，成功地应用这一基本原则于 EPIC-KITCHENS 数据集，从而纯粹通过观察手在自我中心视角的视频中学习状态敏感特征和对象特性。

Dec, 2021

本研究旨在探讨如何在自然环境中重建手 - 物互动。为此，我们提出了一个基于优化的过程，该过程不需要直接的 3D 监督，并利用所有可用的相关数据来提供 3D 重建的约束条件。我们的方法在 EPIC Kitchens 和 100 Days of Hands 数据集上跨越一系列对象类别产生了引人注目的重建效果，并在实验室的环境中与现有方法进行了比较。

Dec, 2020

本文提出一种基于场景图，利用图像序列提取关键交互特征并编码动作模式和上下文的方法，同时引入基于事件的自动视频分割和聚类，成功地实现了识别手 - 物体和物体 - 物体交互，并匹配不同受试者执行的同一活动。

Apr, 2023

生成逼真的手部动作序列与物体的交互在数字人方面越来越受到关注，之前的工作已经证明了利用基于占据或基于距离的虚拟传感器来提取手物体交互特征的有效性，但是这些方法在物体类别、形状和大小方面的泛化能力有限。为了解决这个挑战，我们引入了一种新颖的以关节为中心的传感器，用于推理潜在交互区域附近的局部物体几何。该传感器查询每个手关节附近的物体表面点。我们通过将点从全局坐标系转换为手部模板坐标系，并使用共享模块处理每个独立关节的传感器特征来减少学习复杂性。然后，我们使用时空转换网络捕捉不同维度中关节之间的相关性。此外，我们设计了简单的启发式规则，以扩充有限的训练序列，增加丰富的静态手抓取样本。这样在训练过程中观察到更广泛的抓取类型，从而增强了我们模型的泛化能力。我们在两个公开数据集 GRAB 和 InterCap 上进行评估，结果表明我们的方法在定量和感知上都优于基线模型。

Apr, 2024

本文提出了一个基于 AVA 的新数据集，名为 DIO，用于检测人类和物体之间的空间和时间交互作用，同时利用层次化的空间时间人 / 环境线索，设计了 HPN 算法对交互中的对象进行发现。实验表明，该算法表现出良好的性能。

Nov, 2022

本文提出了一种从互联网视频中提取手部状态信息的方法，通过收集大规模数据集并建立学习模型，该方法能够推测出手部位置、接触状态以及所接触的物体，支持 3D 网格的建模。

Jun, 2020

利用时空信息重建交互手部的新框架，结合时序上下文与运动平滑性的时间约束，并采用物理碰撞检测模块以实现运动可信的交互手部重建。

Aug, 2023

本文提出了一种基于未来意图总揽机制的深度学习模型，该模型综合建模并预测了自我中心手部运动、交互热点和未来动作，旨在解决人 - 物互动预测的重要挑战。实验结果表明，所述模型在 EGTEA Gaze+ 和 EPIC-Kitchens 数据集上的行动预测结果优于现有方法。

Nov, 2019

我们提出了一种基于数据驱动的粗糙动作细化方法，通过手为中心的表示和建模手与物体的动态时空关系，捕捉手物互动的动态线索，并在实验证明我们的方法在性能上优于之前的方法。

Jan, 2024

通过实例级隐式重建，我们提出了 Ins-HOI，一种端到端解决方案，用于恢复人与物体之间的详细交互。我们引入了实例级占据场来支持同时表示人 / 手和对象，并使用补充训练策略处理实例级基准缺失的问题。我们的方法 Ins-HOI 能够在极近交互的情况下生成合理和真实的非可见接触表面，并提供了一个大规模高保真度的 3D 扫描数据集用于研究。

Dec, 2023