Mar, 2024
AnySkill: 学习互动型代理程序的开放词汇物理技能
AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents
Jieming Cui, Tengyu Liu, Nian Liu, Yaodong Yang, Yixin Zhu...
TL;DR通过开放词汇物理技能学习，在物理基于运动生成中，使用传统的基于物理的方法往往难以适应新的情景。为了解决这个限制，我们提出了一种名为 AnySkill 的层次化方法，该方法通过遵循开放词汇指令学习物理上可行的相互作用。我们的方法首先通过模仿学习训练低级控制器来开发一组原子动作。在接收到开放词汇文本指令后，AnySkill 采用高级策略来选择和整合这些原子动作，以最大化代理渲染图像与文本之间的 CLIP 相似度。我们方法的一个重要特点是在高级策略中使用基于图像的奖励，这使得代理能够学习与对象的相互作用，无需手动设计奖励。我们展示了 AnySkill 生成逼真自然的运动序列，以响应长度不同的未见指令情况，使其成为第一个能够开放词汇物理技能学习的互动人形智能体的方法。