介绍了 HOI4D 数据集，该数据集具有丰富的注释，包含了大规模的 4D 视觉信号和人类 - 物体交互类别级别的注释，并建立了三个基准任务来促进该领域的进一步研究。

Mar, 2022

D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

Aug, 2021

提出了一个新的数据集和基准 InteractADL，用于理解涉及人（和物体）之间互动的复杂 ADL，并提出了一种用于细粒度少样本视频分类的新方法 Name Tuning，该方法通过学习优化类别名称向量，使语义可分离，展示了在 InteractADL 和其他四个细粒度视觉分类基准上改进的性能。

Jun, 2024

该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

Mar, 2024

本文介绍了一种基于手腕佩戴摄像头的新型算法，可用于识别日常活动，特别是与用户动作相关的对象。使用 Convolutional Neural Networks 编码帧描述符，提出了一种判别式视频表示，保留时空信息。

Nov, 2015

我们介绍了 HANDAL 数据集，用于类别级别的物体姿态估计和可用性预测。与以前的数据集不同，我们的数据集专注于适合机器人操纵的具有适当大小和形状的可操作物体，如钳子、器具和螺丝刀。我们的注释过程简化，只需要一台现成摄像机和半自动处理，可以产生高质量的三维注释而无需众包。该数据集由来自 212 个真实世界物体的 17 个类别的 2.2k 个视频的 308k 个带注释的图像帧组成。我们专注于硬件和厨房工具物体，以促进在机器人执行与简单推动或不加区别握取之外的实际场景中与环境进行交互的研究。我们概述了我们的数据集在 6 自由度类别级别姿态 + 尺度估计和相关任务中的有用性。我们还提供了所有物体的三维重建网格，并概述了需要解决的一些瓶颈，以推动收集像这样的数据集的普及化。

Aug, 2023

本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。

Apr, 2020

我们介绍了第一个注视引导的手 - 物体交互数据集，并提出了一个新颖的注视引导的手 - 物体交互综合任务。我们的数据集 GazeHOI 通过同时建模注视、手和物体的交互，包含 479 个序列，平均持续时间为 19.1 秒，812 个子序列和 33 个具有不同大小的物体。我们提出了一个基于注视引导的手 - 物体交互扩散模型 GHO-Diffusion 的分层框架。我们的广泛实验突出了数据集的独特性及我们方法的有效性。

Mar, 2024

我们提供了 HOH（Human-Object-Human）交接数据集，一个包含 136 个物体的大型物体计数数据集，以加快对交接研究、人机交接实施和人工智能（AI）在二维和三维数据的交接参数估计方面的基于数据的研究。HOH 包含多视角的 RGB 和深度数据、骨骼、融合点云、抓取类型和惯用手标签、物体、给予者手和接收者手的二维和三维分割、给予者和接收者的舒适度评分，以及配对的物体元数据和对齐的三维模型，包括 2,720 个交接互动，涵盖 136 个物体和 20 个给予者 - 接收者对，其中 40 个具有角色颠倒，以 40 个参与者为基础组织。我们还展示了使用 HOH 训练的神经网络进行抓取、方向和轨迹预测的实验结果。作为唯一的完全无标记交接捕捉数据集，HOH 代表了自然的人际交接互动，克服了标记数据集的挑战，这些数据集需要特定的适应身体跟踪，并且缺乏高分辨率的手部跟踪。迄今为止，HOH 是关于物体数量、参与者、角色颠倒对数和捕捉的总交互数量方面最大的交接数据集。

Oct, 2023

该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

Aug, 2018