提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

Jul, 2019

D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

Aug, 2021

HOT3D 是一个公开可用的三维视角下手部和物体跟踪的数据集，包含大量的多视角 RGB / 单色图像流以及 19 个参与者与 33 个不同的刚体物体的交互动作，提供了多模态信号和全面的真实标注，旨在加速关于视角自身手部与物体交互的研究。

Jun, 2024

本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。

Apr, 2020

提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的 2D 手势姿势估计的深度学习框架。

Jul, 2017

我们引入了一个数据采集系统和一个名为 HO-Cap 的新数据集，可以用于研究视频中手和物体的 3D 重建和姿态跟踪。该系统使用多个 RGB-D 相机和 HoloLens 头戴式显示器进行数据采集，避免使用昂贵的 3D 扫描仪或动作捕捉系统。我们提出了一种半自动的方法来获得手和物体形状和姿态的注释，与手动标注相比，大大减少了所需的标注时间。通过这个系统，我们捕捉了一个视频数据集，其中人类使用物体来执行不同的任务，以及简单的拾取和移交某个物体给另一只手，这可以作为人类示范用于具身人工智能和机器人操纵研究。我们的数据采集设置和注释框架可以被社区用来在视频中重建物体和人手的 3D 形状并跟踪它们的姿势。

Jun, 2024

我们提供了 HOH（Human-Object-Human）交接数据集，一个包含 136 个物体的大型物体计数数据集，以加快对交接研究、人机交接实施和人工智能（AI）在二维和三维数据的交接参数估计方面的基于数据的研究。HOH 包含多视角的 RGB 和深度数据、骨骼、融合点云、抓取类型和惯用手标签、物体、给予者手和接收者手的二维和三维分割、给予者和接收者的舒适度评分，以及配对的物体元数据和对齐的三维模型，包括 2,720 个交接互动，涵盖 136 个物体和 20 个给予者 - 接收者对，其中 40 个具有角色颠倒，以 40 个参与者为基础组织。我们还展示了使用 HOH 训练的神经网络进行抓取、方向和轨迹预测的实验结果。作为唯一的完全无标记交接捕捉数据集，HOH 代表了自然的人际交接互动，克服了标记数据集的挑战，这些数据集需要特定的适应身体跟踪，并且缺乏高分辨率的手部跟踪。迄今为止，HOH 是关于物体数量、参与者、角色颠倒对数和捕捉的总交互数量方面最大的交接数据集。

Oct, 2023

本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法，并使用数据驱动的三维形状先验进行训练，结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。

May, 2023

介绍了 HOI4D 数据集，该数据集具有丰富的注释，包含了大规模的 4D 视觉信号和人类 - 物体交互类别级别的注释，并建立了三个基准任务来促进该领域的进一步研究。

Mar, 2022

在该研究中，我们提出了一个统一框架，用于通过单个 RGB 图像并基于神经网络模型来共同估计 3D 手部和物体姿态、模拟它们的交互，以及识别物体和动作类别，整个模型可针对序列帧的输入进行优化。

Apr, 2019