Jun, 2024

RoboCasa: 为通用机器人实现大规模模拟日常任务

TL;DR人工智能的近期发展大多受到规模化的推动。在机器人学中,规模化受到获取大规模机器人数据集的限制。我们提倡使用逼真的物理仿真作为扩展环境、任务和数据集以用于机器人学习方法。我们提出了一个名为 RoboCasa 的大规模仿真框架,用于在日常环境中训练通用型机器人。RoboCasa 以厨房环境为重点,具备逼真和多样化的场景。我们提供了数千个 3D 物体,涵盖 150 多个物体类别和数十个可交互的家具和电器。我们利用生成式人工智能工具来丰富仿真的逼真度和多样性,如使用文本生成 3D 模型的物体和使用文本生成环境纹理的模型。我们设计了一套包含 100 个任务的系统评估,其中包括由大型语言模型引导生成的复合任务。为了便于学习,我们提供高质量的人类演示,并整合自动化轨迹生成方法,以最小化人力负担大幅扩展数据集。我们的实验显示,使用合成生成的机器人数据进行大规模的模仿学习呈现出明显的规模化趋势,并在利用仿真数据进行真实任务中表现出巨大潜力。视频和开源代码可在此 https 网址上获取。