AAAIFeb, 2024
SemTra: 跨领域零样本策略适应的语义技能转换器
SemTra: A Semantic Skill Translator for Cross-Domain Zero-Shot Policy Adaptation
Sangwoo Shin, Minjong Yoo, Jeongwoo Lee, Honguk Woo
TL;DR该研究探索了语义技能的零 - shot 适应能力，在跨领域环境中，在交织的多模态片段中，通过用户输入可触发不同领域的新的远程任务。通过语义技能翻译框架 SemTra，该框架利用一组多模态模型从片段中提取技能，并利用预训练语言模型的推理能力将这些提取的技能适应到目标领域。框架通过任务适应和技能适应的两级层次结构进行适应。在任务适应过程中，语言模型将提取的技能转化为适合跨领域上下文的语义技能序列。技能适应通过语言提示和对比学习的上下文推断来优化每个语义技能，以适应目标领域的上下文。这种层次适应使得该框架不仅能够从交织的多模态片段中一次性推断出复杂任务规范，还能够通过零 - shot 学习能力将其适应到新的领域中。我们在 Meta-World、Franka Kitchen、RLBench 和 CARLA 环境中评估了我们的框架。结果表明，该框架在执行长期任务和适应不同领域方面具有优势，展示了其在解释抽象指令的认知机器人和在不同配置下操作的自主车辆等实际应用案例中的广泛适用性。