ICMLJul, 2021

Minecraft 中的无监督技能发现和技能学习

PDF
TL;DR本文介绍了一种使用无监督技术和自监督学习的状态表征方法，可以帮助强化学习智能体快速学习到基本导航技能。在使用像素地图进行评估时，我们发现像素表示和条件政策学习适用于玩具例子，但不适用于逼真和复杂的地图。因此我们还研究了相对位移等替代观测输入。
reinforcement learningunsupervised skill discoveryself-supervised learningstate representationspixel maps
发现论文，激发创造
  • Plan4MC：针对开放世界 Minecraft 任务的技能强化学习和规划

    在 Minecraft 环境中，我们使用强化学习技术训练多任务代理，将任务分解成学习基本技能和规划技能这两个步骤，通过提出三种细粒度的基本技能，搭配内在奖励机制使用强化学习训练代理，在学会技能后，我们使用大型语言模型建立技能图模型，并提出技能搜索算法为代理生成适当的技能计划。在实验中，我们成功的完成了 24 个不同的 Minecraft 任务，并得到了比基线算法更好的表现。

    Mar, 2023

  • 行为对比学习：无监督技能发现

    本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

    May, 2023

  • 无监督模型预训练：从像素到高效控制

    本文提出了一种基于无监督 RL 策略的数据高效视觉控制的方法，通过使用 Dyna-MPC 等组件的预训练来实现更快的任务适应，并且在大规模实证研究的基础上建立了一种强化学习方法，可以使无监督设计策略的性能大大提高。

    Sep, 2022

  • 用于强化学习的无监督表示轻量级探测

    本文提出了使用线性探测任务评估强化学习中视觉预训练算法效果的方法，通过与实际下游控制表现的相关性进行实验，优化了现有自监督学习配方的方法，突出了前向模型、视觉主干大小和无监督目标的重要性。

    Aug, 2022

  • Atari 游戏中部分可观测无监督表示学习

    本文提出了一种用于部分可观测状态的无监督状态表示学习方案，相比受监督学习的 ST-DIM 方法在 Atari 游戏中的表现提高了，平均准确率得分达到了约 66％，平均 F1 得分为约 64％。

    Mar, 2023

  • 使用数据驱动指导学习任务无关技能

    本文提出了一种使用学习的状态投影来引导技能发现，从而使得强化学习的代理人在特定任务中获得了更有用的行为。

    Aug, 2021

  • 深度 CUPRL: 用于无人机无地图导航的深度图像对比无监督优先表示强化学习

    本研究提出了一种新的方法，使用深度图估计来教授强化学习代理在无人机的无地图导航中执行任务，并结合强化学习和对比学习以应对物理状态 RL 策略效率低下的问题。结果分析表明，我们的 Depth-CUPRL 方法在无地图导航方面的决策制定方面非常有效，并且优于基于像素的方法。

    Jun, 2022

  • 非监督强化学习的信息几何

    本文研究发现基于相互信息最大化的无监督技能发现算法不一定对于所有潜在奖励函数都能学出最优技能，但它们提供了一个最优初始状态以最小化对抗选择的奖励函数的遗憾。

    Oct, 2021

  • 残差技能策略：学习适应性技能基础的动作空间，用于机器人增强学习

    通过使用状态条件生成模型在技能空间中加速探索，同时提出低层次的剩余策略来适应未知的任务变化，从而在与先前工作的比较中显着加快了探索速度，并跨四个不同于那些用于构建技能空间的具有挑战性的操作任务进行了验证。

    Nov, 2022

  • 从像素和自然语言指令中学习解决体素建筑任务

    采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

    Nov, 2022