基于优势加权信息最大化的分级强化学习

ICLRJan, 2019

基于优势加权信息最大化的分级强化学习

Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization

Takayuki Osa, Voot Tangkaratt, Masashi Sugiyama

TL;DR本研究提出了一种基于相互信息最大化学习层次策略潜变量的 HRL 方法，用于优化连续控制任务中的强化学习性能，并介绍了优势加权重要性采样和确定性策略梯度方法，以实现选项策略选择和优化。实验结果表明，该方法可以学习多样化的选项并增强连续控制任务中强化学习的性能。

Abstract

Real-world tasks are often highly structured. Hierarchical reinforcement learning (HRL) has attracted research interest as an approach for leveraging the hierarchical structure of a given task in reinforcement learning (RL). However, identifying the hierarchical policy structure that enhances the performance of RL is not a trivial task. In this paper, we pro

hierarchical reinforcement learning latent variable option policies advantage-weighted importance sampling continuous control tasks

发现论文，激发创造

基于优势辅助奖励的分层强化学习

本文提出一种基于 Hierarchical Reinforcement Learning 的框架，通过设置辅助奖励来适应下游任务，同时保持奖励设计的通用性。这种辅助奖励可实现高级策略和低级技能的高效、同时学习，无需使用特定任务的知识。实验结果表明，相比 Mujoco 领域中其他最先进的 HRL 方法，我们的算法有显著的性能优势，并且发现我们算法训练的低级和高级策略都是可转移的。

Oct, 2019

通过返回加权密度估计进行分层策略搜索

本文提出了一种基于密度估计和回报加权重要性采样的层次策略搜索方法 (HPSDE)，用于从多模态的回报函数中学习最佳策略，并成功应用于冗余机器人手臂的运动规划问题，实现了通过自动确定多种策略的数量和位置来减少超参数调节负担的效果。

Nov, 2017

数据效率的分层强化学习

本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

May, 2018

层次强化学习中的特征控制作为内在动机

本文介绍了一种通用的子目标类别，应用于端到端层次强化学习系统中，可用于处理含有稀疏奖励的 Montezuma 的复仇等 Atari 游戏。该方法引入了一组时间扩展行动，或选项，以及对应的子目标。

May, 2017

无模型分层强化学习中的表示学习

本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

Oct, 2018

选项的强化学习

目前的论文旨在探索强化学习领域，并在现有方法的基础上构建改进方法，以解决高维度和复杂环境中的学习问题。它通过分层的方式（称为层次强化学习）来分解学习任务，通过构建自主地学习层级结构的代理来提高效果。

Mar, 2024

层次强化学习的隐空间策略

本文介绍了一种学习分层深度神经网络策略，通过最大熵强化学习目标训练各层解决任务，并通过潜在随机变量进行增广，从而实现多层次策略学习。对标准基准测试任务，通过增加多层，可以改善高层策略表现。对于简单低层次的目标，高熵技能的优化学习可以解决更复杂的稀疏奖励任务。

Apr, 2018

一种在高级和低级学习中可证明高效的基于期权的算法

在 Hierarchical Reinforcement Learning 的框架下，本研究通过使用不同的时间抽象层次交替使用相关算法，提出了一种用于解决有限时间间隔问题的元算法，从而初步理解了高层和低层策略同时学习的实际场景。

Jun, 2024

通过发现内在选项进行分层强化学习

提出了一种层次强化学习方法 HIDIO，该方法可以自监督地学习任务不可知的选项，同时学习利用这些选项来解决稀疏奖励任务。实验结果显示，相比于常规 RL 基线和两种最先进的层次化 RL 方法，HIDIO 在稀疏奖励机器人操作和导航任务中具有更高的成功率和更高的样本效率。

Jan, 2021

具有 AI 规划模型的分层强化学习

本研究提出了一种将高层次 AI 规划与强化学习相结合的综合方法，通过建立 AI 规划问题的状态转换模型与马尔科夫决策过程的抽象状态转换系统之间的对应关系，使用内在奖励学习定义层次强化学习中的操作，以增强其一致性与从容。实验结果表明，与现有方法相比，该方法在 MiniGrid 和 N 房间环境中表现更好。

Mar, 2022