高效探索的层次化技能

Oct, 2021

Hierarchical Skills for Efficient Exploration

Jonas Gehring, Gabriel Synnaeve, Andreas Krause, Nicolas Usunier

TL;DR本文介绍了一种新的分层技能学习框架，利用无监督学习获得不同复杂度的技能，并自动权衡技能的通用性和特定性，用于动态任务，并表明这种方法产生比现有方法更好的结果。

Abstract

In reinforcement learning, pre-trained low-level skills have the potential to greatly facilitate exploration. However, prior knowledge of the downstream task is required to strike the right balance between generality (fine-grained control) and specificity (faster learning) in skill des

reinforcement learning skill pre-training hierarchical skill learning unsupervised learning bipedal robots

发现论文，激发创造

技能批评家：为强化学习优化学得技能

利用 Skill-Critic 算法，结合高层技能选择来优化低级和高级策略，通过离线演示数据学习到的潜在空间来指导联合策略优化，提高在多个稀疏环境中的决策性能。

Jun, 2023

层次化启动在强化学习技能转移中的应用

本文研究了如何将技能融入强化学习智能体的训练，提出了基于技能的新方法 Hierarchical Kickstarting（HKS），并在复杂环境下的游戏 NetHack 及其他基线测试中验证了其表现优于其他方法，并认为利用预定义技能为具有大的状态 - 动作空间和稀疏奖励的强化学习问题提供了一个有用的归纳偏差。

Jul, 2022

残差技能策略：学习适应性技能基础的动作空间，用于机器人增强学习

通过使用状态条件生成模型在技能空间中加速探索，同时提出低层次的剩余策略来适应未知的任务变化，从而在与先前工作的比较中显着加快了探索速度，并跨四个不同于那些用于构建技能空间的具有挑战性的操作任务进行了验证。

Nov, 2022

学习技能先验加速强化学习

通过学习技能先验分布，将其用于最大熵强化学习，能够在导航和机器人操作任务中实现有效的技能传输。

Oct, 2020

基于随机神经网络的分层强化学习

本文提出了一种利用预训练环境学习有用技巧并在下游任务中加速学习的框架，该框架结合了内在动机和分层方法的优点，使用 Stochastic Neural Networks 和信息理论正则化器高效预训练一组可解释技巧，并在下游任务中显著提高学习性能。

Apr, 2017

分层强化学习中的子策略适应

本文提出了一种新的分层强化学习算法 HiPPO，它可以根据新任务的训练不断调整技能并与更高层次一起训练，该算法引入了一个无偏差的潜变量依赖基准的分层策略梯度，并提出了一种训练时抽象方法，以提高所获得技能对环境变化的鲁棒性。

Jun, 2019

在强化学习中创建多级技能层次结构

基于图形结构的交互模式，提出了一种基于分层图划分的自主代理技能分层方法，该技能分层具有多层抽象和在强化学习中的实用性。

Jun, 2023

多任务强化学习中的层次和可解释技能获取

本文提出了一种用于有效的多任务强化学习的新框架，该框架可以训练代理人使用分层策略，决定何时使用先前学习的策略和何时学习新技能。该方法通过给代理人提供随机时间语法来帮助代理人学习分层策略中必要的复杂时间依赖关系，并在 Minecraft 游戏中进行了验证。

Dec, 2017

四足动物运动的分层强化学习

本文介绍一种利用层次化框架实现四足机器人路径跟踪任务的方法，其中高层策略以潜在空间向低层策略发出指令，并控制其执行的时间，低层策略使用潜在指令和机器人传感器来控制机器人的执行器，以完成任务需求，同时可以实现训练后的低层策略的高效迁移，为实现端到端的层次化深度学习提供了理论支持。

May, 2019

连续控制中前瞻探索的模型学习

本文提出了一种探索方法，将先前学习的基本技能及其动态与前瞻性搜索相结合，用于操作策略的强化学习，并且表明该方法比当前最先进的 RL 方法更快地学习到复杂操作策略，并获得更好的策略收敛结果。

Nov, 2018