May, 2024

渲染和扩散:将图像空间与动作空间对齐,实现基于扩散的行为克隆

TL;DR通过使用机器人的三维模型的虚拟渲染物对低级机器人动作和RGB观察在图像空间内进行联合观察和行动表示,并使用学习扩散过程计算低级机器人动作,该方法将高维观察和低级机器人动作间的复杂映射整合在一起,增加了样本效率和空间概括的归纳偏差。在仿真环境中对R&D的多个变体进行了全面评估,并展示其在真实世界中六个日常任务中的适用性,结果显示R&D具有较强的空间概括能力,并且比常见的图像到动作方法具有更高的样本效率。