ICMLFeb, 2024

非静态环境下的多模态技能单次模仿

TL;DR通过探索复杂任务的组合性,我们提出了一种新颖的基于技能的模仿学习框架,实现了一次性模仿和零次适应,能够从单个演示中学习复杂任务,并针对随时间变化的环境隐藏动力学优化行动序列,通过视觉 - 语言模型学习语义技能集合,并使用动力学推断来实现零次技能适应。我们通过多个一次性模仿场景对我们的框架进行评估,展示了其在学习复杂任务、泛化动力学变化以及在不同演示条件和模态下的优越性,相比其他基线模型。