Nov, 2022

SkillS: 自适应技能序列用于高效的时间扩展探索

PDF
TL;DR我们提出了一种在多个领域中比现有方法更出色的技能转移方法，通过学习现有的时间扩展技能序列来进行探索，并直接从原始经验中学习最终策略，实现快速适应和高效数据收集。
reinforcement learningskill reusedistillationdata collectiontemporally-extended skills
发现论文，激发创造
  • 探索和转移的潜在技能规划

    该研究探讨了将学习到的世界模型和技能集成到单个强化学习代理中以快速适应新任务的方法，并在一系列具有挑战性的运动任务中展示了在单个任务和从一个任务到另一个任务的转移中改善了样本效率。

    Nov, 2020

  • 残差技能策略：学习适应性技能基础的动作空间，用于机器人增强学习

    通过使用状态条件生成模型在技能空间中加速探索，同时提出低层次的剩余策略来适应未知的任务变化，从而在与先前工作的比较中显着加快了探索速度，并跨四个不同于那些用于构建技能空间的具有挑战性的操作任务进行了验证。

    Nov, 2022

  • 技能批评家：为强化学习优化学得技能

    利用 Skill-Critic 算法，结合高层技能选择来优化低级和高级策略，通过离线演示数据学习到的潜在空间来指导联合策略优化，提高在多个稀疏环境中的决策性能。

    Jun, 2023

  • 多任务强化学习中的层次和可解释技能获取

    本文提出了一种用于有效的多任务强化学习的新框架，该框架可以训练代理人使用分层策略，决定何时使用先前学习的策略和何时学习新技能。该方法通过给代理人提供随机时间语法来帮助代理人学习分层策略中必要的复杂时间依赖关系，并在 Minecraft 游戏中进行了验证。

    Dec, 2017

  • 从离线数据提取可转移机器人技能的高效策略学习

    使用预训练的视觉语言模型从离线数据中提取一组离散的语义相关技能，无需人工监督，通过参数化连续参数，使机器人能够学习新任务并提高样本效率和性能表现。

    Jun, 2024

  • 学习技能先验加速强化学习

    通过学习技能先验分布，将其用于最大熵强化学习，能够在导航和机器人操作任务中实现有效的技能传输。

    Oct, 2020

  • 高效探索的层次化技能

    本文介绍了一种新的分层技能学习框架，利用无监督学习获得不同复杂度的技能，并自动权衡技能的通用性和特定性，用于动态任务，并表明这种方法产生比现有方法更好的结果。

    Oct, 2021

  • 连续控制中前瞻探索的模型学习

    本文提出了一种探索方法，将先前学习的基本技能及其动态与前瞻性搜索相结合，用于操作策略的强化学习，并且表明该方法比当前最先进的 RL 方法更快地学习到复杂操作策略，并获得更好的策略收敛结果。

    Nov, 2018

  • 一个接着一个：为一个不断变化的世界学习增量技能

    该研究提出了一种新的技能发现的架构，通过递增学习的方式获得新技能，以适应不断变化的环境，并且在质量和下游任务解决能力方面显著优于现有方法。

    Mar, 2022

  • 技能何时帮助强化学习？对时间抽象的理论分析

    技能在分层强化学习中通过临时抽象旨在提高强化学习性能。我们首次提供对确定性技能在确定性稀疏奖励环境和有限动作空间中的效用进行准确描述的研究，理论和实证结果表明，状态解决方案的压缩性较低的环境中强化学习的技能优势较小，技能对于探索比现有经验的学习更具益处，使用宏动作等表达能力有限的技能可能会降低强化学习性能。我们希望这些发现可以指导自动技能发现的研究，并帮助强化学习从业者在何时如何使用技能上做出更好的决策。

    Jun, 2024