Aug, 2023

HANDAL: 真实世界中可操作对象类别的数据集,包含姿势注释、可用性和重建

TL;DR我们介绍了 HANDAL 数据集,用于类别级别的物体姿态估计和可用性预测。与以前的数据集不同,我们的数据集专注于适合机器人操纵的具有适当大小和形状的可操作物体,如钳子、器具和螺丝刀。我们的注释过程简化,只需要一台现成摄像机和半自动处理,可以产生高质量的三维注释而无需众包。该数据集由来自 212 个真实世界物体的 17 个类别的 2.2k 个视频的 308k 个带注释的图像帧组成。我们专注于硬件和厨房工具物体,以促进在机器人执行与简单推动或不加区别握取之外的实际场景中与环境进行交互的研究。我们概述了我们的数据集在 6 自由度类别级别姿态 + 尺度估计和相关任务中的有用性。我们还提供了所有物体的三维重建网格,并概述了需要解决的一些瓶颈,以推动收集像这样的数据集的普及化。