数据效率的分层强化学习

NIPSMay, 2018

Data-Efficient Hierarchical Reinforcement Learning

Ofir Nachum, Shixiang Gu, Honglak Lee, Sergey Levine

TL;DR本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

Abstract

hierarchical reinforcement learning (HRL) is a promising approach to extend traditional reinforcement learning (RL) methods to solve more complex tasks. Yet, the majority of current HRL methods require careful task-specific design and on-policy training, making them difficult to apply

hierarchical reinforcement learning general efficient off-policy training hiro

发现论文，激发创造

复杂 3D 环境中的分层强化学习

使用层次混合离线 - 在线的深度强化学习代理提出了一种解决 HRL 代理在可视复杂部分可观察 3D 环境中的问题的方法，并在 DeepMind Hard Eight 任务中与非分层 Muesli 基线相竞争，研究揭示了以前未注意到的实际挑战，并为了解复杂领域中的层次代理提供了新的视角。

Feb, 2023

基于优势辅助奖励的分层强化学习

本文提出一种基于 Hierarchical Reinforcement Learning 的框架，通过设置辅助奖励来适应下游任务，同时保持奖励设计的通用性。这种辅助奖励可实现高级策略和低级技能的高效、同时学习，无需使用特定任务的知识。实验结果表明，相比 Mujoco 领域中其他最先进的 HRL 方法，我们的算法有显著的性能优势，并且发现我们算法训练的低级和高级策略都是可转移的。

Oct, 2019

无模型分层强化学习中的表示学习

本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

Oct, 2018

DHRL: 一种基于图的长时间和稀疏层次强化学习方法

本文提出了使用图形解耦合高层次和低层次策略视野的分层强化学习方法，该方法可以使高层次策略的操作间隔更加灵活，从而实现更长的时域抽象和更快的训练。与现有的分层强化学习算法相比，该方法在数据效率方面表现更好，在典型的分层强化学习环境中实现了复杂任务的长期和复杂的运动和操作。

Oct, 2022

双向可达层次强化学习与相互响应策略

通过互相共享信息和错误修正，我们提出了一种具有双向可达性的层次强化学习算法（BrHPO），该算法在长时间跨度任务中优于其他现有的层次强化学习方法，且具有更高的探索效率和鲁棒性。

Jun, 2024

多样性驱动可扩展的层次强化学习

本论文提出多层次强化学习 (DEHRL) 框架，使用多个层次以实现对高度抽象目标的学习。通过对 DEHRL 的实验评估，结果表明，DEHRL 在四个方面超过了现有技术的基准线。

Nov, 2018

学习多级层次结构及回溯

本文介绍了一种新的 Hierarchical Reinforcement Learning (HRL) 框架 - Hierarchical Actor-Critic (HAC)，该框架能够克服在试图同时学习多个策略层级时出现的不稳定性问题，并能够在连续状态和动作空间的任务中成功地学习 3 级层级。

Dec, 2017

面向意图的层次强化学习

研究使用基于眼动的意图来自动生成子目标，从而提高深度强化学习代理的样本效率。该方法在 Atari 2600 游戏套件中的 Montezuma's Revenge 等长视程罕见奖励任务中得到了验证。

Jun, 2023

分层强化学习中的子策略适应

本文提出了一种新的分层强化学习算法 HiPPO，它可以根据新任务的训练不断调整技能并与更高层次一起训练，该算法引入了一个无偏差的潜变量依赖基准的分层策略梯度，并提出了一种训练时抽象方法，以提高所获得技能对环境变化的鲁棒性。

Jun, 2019

层次化模仿与强化学习

论文提出了一种算法框架，称为层次性指导，旨在通过利用专家的反馈来学习序贯决策制定策略，以应对奖励稀疏和时间范围长等问题，该框架可以在不同的层次上组合不同的 imitation learning 和 reinforcement learning，从而大大减少专家工作量和探索成本，并对该框架的某些实例的标注成本进行了理论分析。

Mar, 2018