Oct, 2023
HOH：无标记多模态人物 - 物体 - 人物递交大型数据集
HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count
Noah Wiederhold, Ava Megyeri, DiMaggio Paris, Sean Banerjee, Natasha Kholgade Banerjee
TL;DR我们提供了 HOH（Human-Object-Human）交接数据集，一个包含 136 个物体的大型物体计数数据集，以加快对交接研究、人机交接实施和人工智能（AI）在二维和三维数据的交接参数估计方面的基于数据的研究。HOH 包含多视角的 RGB 和深度数据、骨骼、融合点云、抓取类型和惯用手标签、物体、给予者手和接收者手的二维和三维分割、给予者和接收者的舒适度评分，以及配对的物体元数据和对齐的三维模型，包括 2,720 个交接互动，涵盖 136 个物体和 20 个给予者 - 接收者对，其中 40 个具有角色颠倒，以 40 个参与者为基础组织。我们还展示了使用 HOH 训练的神经网络进行抓取、方向和轨迹预测的实验结果。作为唯一的完全无标记交接捕捉数据集，HOH 代表了自然的人际交接互动，克服了标记数据集的挑战，这些数据集需要特定的适应身体跟踪，并且缺乏高分辨率的手部跟踪。迄今为止，HOH 是关于物体数量、参与者、角色颠倒对数和捕捉的总交互数量方面最大的交接数据集。