Sep, 2023
HoloAssist：一个实际世界中用于交互式人工智能助理的自我中心人机交互数据集
HoloAssist: an Egocentric Human Interaction Dataset for Interactive AI
Assistants in the Real World
TL;DR构建一个互动的人工智能助手，能够感知、推理并与人类在现实世界中合作，一直以来都是人工智能领域的追求之一。本研究是开发能够与人类互动地指导执行现实世界任务的智能代理的广泛研究努力的一部分。作为这个方向的首要步骤，我们介绍了HoloAssist，一个大规模的自我中心人际交互数据集，在该数据集中，两个人共同完成物理操纵任务。任务执行者佩戴混合现实头盔执行任务，同时捕捉七个同步数据流。任务指导者实时观看执行者的自我中心视频并给予指导。通过注释行为和对各参与者丰富行为的观察，我们提供了人类助手如何纠正错误、介入任务完成过程并将指令落地到环境的关键见解。HoloAssist涵盖了由350对独特的指导者-执行者捕获的166小时数据。此外，我们构建并展示了关于错误检测、介入类型预测和手部预测的基准，以及详细的分析。我们期望HoloAssist将为在现实世界中与人类流畅协作的AI助手的构建提供重要资源。数据可从此URL下载。