Dec, 2022

通过压缩学习选项

PDF
TL;DR研究多任务强化学习中的统计规律对于新任务学习的加速是有效的，而技能学习是实现这一目标的一种方式，技能学习的热门方法是使用潜在变量模型来最大化预收集的经验的可能性，结合应用于描述技能的描述长度惩罚的新目标可以使技能更好地从经验中提取共同结构，并在具有高维图像观察的挑战性任务中进行了验证。
multi-task reinforcement learningskill learninglatent variable modelsdescription length penaltyhigh-dimensional image observations
发现论文，激发创造
  • 学习技能先验加速强化学习

    通过学习技能先验分布，将其用于最大熵强化学习，能够在导航和机器人操作任务中实现有效的技能传输。

    Oct, 2020

  • 用语言导向的时间变分推断进行技能学习

    我们提出了一种从专家示范中发现技能的算法，该算法首先利用大型语言模型对轨迹进行初步分割，然后采用层次变分推理框架结合语言模型生成的分割信息，通过合并轨迹段来发现可重用的技能。为了进一步控制压缩和可重用性之间的权衡，我们引入了一种基于最小描述长度原则的新辅助目标，有助于指导这一技能发现过程。我们的结果表明，使用我们的方法装备的代理能够发现有助于加速学习的技能，并在 BabyAI（一个网格世界导航环境）以及 ALFRED（一个家庭仿真环境）的新长期任务中胜过基线技能学习方法。

    Feb, 2024

  • 多任务学习中的模块化技能组合

    通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

    Feb, 2022

  • 基于课程的通用技能模仿

    本研究提出一种基于课程学习和 MoE 的模仿学习方法，用于从人类多样化的演示中教授机器人控制技能，并在复杂机器人控制任务中显著优于当前最先进的方法。

    Apr, 2023

  • 探索和转移的潜在技能规划

    该研究探讨了将学习到的世界模型和技能集成到单个强化学习代理中以快速适应新任务的方法，并在一系列具有挑战性的运动任务中展示了在单个任务和从一个任务到另一个任务的转移中改善了样本效率。

    Nov, 2020

  • Lipschitz 约束的无监督技能发现

    本文研究无监督技能发现的问题，提出了遵守 Lipschitz 约束的技能发现 (LSD) 方法，通过实验得出 LSD 方法在多任务表现上优于之前的方法，并且其学习到的表示函数可以用于解决下游任务，实现了高维状态空间下对多目标追踪的零样本学习。

    Feb, 2022

  • 技能集优化：通过可转移技能强化语言模型行为

    通过构建和优化一组可迁移技能，我们提出了技能集优化（Skill Set Optimization，SSO）来提高大型语言模型在交互环境中的决策性能。在这种方法中，SSO 通过提取具有高奖励的共同子轨迹，并生成子目标和指示来构建技能。这些技能在上下文中提供给大型语言模型以加强具有高奖励的行为，并通过删除不再产生高奖励的技能来进一步优化技能集。我们通过在经典游戏 NetHack 和文本环境 ScienceWorld 中的实证评估来展示 SSO 优化技能集并提升在上下文中策略改进的能力。在我们自定义的 NetHack 任务中，SSO 的性能比基准提升了 40%，并在 ScienceWorld 中超过了先前的最先进方法达到 35% 的改进。

    Feb, 2024

  • 技能批评家：为强化学习优化学得技能

    利用 Skill-Critic 算法，结合高层技能选择来优化低级和高级策略，通过离线演示数据学习到的潜在空间来指导联合策略优化，提高在多个稀疏环境中的决策性能。

    Jun, 2023

  • 行为对比学习：无监督技能发现

    本文提出了一种基于对比学习的无监督技能发现方法，通过得到相似的行为来表征同一种技能， 并使得不同技能产生不同的行为，同时增加状态熵以获得更好的状态覆盖率，实验结果表明，该方法能够产生各种远程技能，并在下游任务中达到有竞争力的表现。

    May, 2023

  • 非监督强化学习的信息几何

    本文研究发现基于相互信息最大化的无监督技能发现算法不一定对于所有潜在奖励函数都能学出最优技能，但它们提供了一个最优初始状态以最小化对抗选择的奖励函数的遗憾。

    Oct, 2021