Sep, 2023

通过基于模型的展开实现下层强化学习的引导协作

PDF
TL;DR通过引入模型预测、渐进惩罚等方法，本研究提出了一种基于目标条件的层次强化学习框架，实现了不同层级之间的合作，从而提高了长期目标探索任务中政策的稳定性和效率。实验结果表明，该框架在难度较高的探索问题和机器人控制方面，比基准模型和之前的最先进的层次强化学习算法表现更为稳定和优越。
goal-conditioned hierarchical reinforcement learninginter-level cooperationmodel-based rolloutgradient penaltyone-step rollout-based planning
发现论文，激发创造
  • 基于路标引导的分层强化学习子目标生成

    本文介绍了 HIerarchical reinforcement learning Guided by Landmarks (HIGL) 框架，该框架通过引导探索性的 Landmarks 来训练具有减少动作空间的高层级策略，实现高效探索。实验结果表明，该框架在控制任务中表现优异。

    Oct, 2021

  • LGR2：语言引导的奖励重新标记加速分层强化学习

    开发交互系统，利用自然语言指令解决复杂的机器人控制任务是机器人学界长期以来的目标之一。本研究提出了 LGR2，这是一种新颖的层次强化学习框架，利用语言指令生成上层政策的稳定奖励函数，以解决非稳态问题，从而有效地利用语言指令解决机器人控制任务。通过实证分析，我们的方法在具有挑战性的稀疏奖励机器人导航和操作环境中获得了超过 70% 的成功率，并在真实世界的场景中展示了出色的泛化能力。

    Jun, 2024

  • 基于解离式可达性规划的目标驱动强化学习

    我们提出了一种基于目标条件的强化学习算法，结合了解缠绕的可达性规划（REPlan），用于解决时间延展任务，在模拟和真实世界任务中，REPlan 显著优于之前最先进的方法。

    Jul, 2023

  • 稳定子目标表示学习的主动层次探索

    本文提出了一种新的规范化方法来提高子目标表示的稳定性和效率，并设计了一种主动式分层探索策略来寻找没有内在奖励的新有前途的子目标和状态，实验结果表明，我们的方法在具有稀疏奖励的连续控制任务中显著优于最先进的基线算法。

    May, 2021

  • 数据效率的分层强化学习

    本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

    May, 2018

  • 通过潜在地标图在分层强化学习中平衡探索与利用

    通过动态构建潜在标志图 (HILL) 学习潜在目标表示，以解决 GCHRL 中的时间连贯性和探索与利用之间的平衡问题，并通过同时考虑节点和边的新颖性和效用度量开发了平衡探索与利用的子目标选择策略。

    Jul, 2023

  • 基于因果推断的强化学习层次化结构发现

    本论文提出了 CDHRL 框架，通过因果驱动探索而非随机驱动探索来构建高质量的分层结构，以提高分层强化学习的探索效率。实验表明，在 2D-Minecraft 和 Eden 两种复杂环境中，CDHRL 显著提高了探索效率。

    Oct, 2022

  • 基于地标的主动探索与稳定底层策略学习

    本文介绍了一种基于目标状态和价值函数的探索策略，可以有效解决高层次策略的行动空间过大和低级别策略的动态变化导致高层次政策的不稳定性问题。

    Jun, 2023

  • 无模型分层强化学习中的表示学习

    本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

    Oct, 2018

  • MGHRL：层次强化学习的元目标生成

    本文提出了一种新的元强化学习算法，称为 Meta Goal-generation for Hierarchical RL (MGHRL)，通过学习给定过去经验的高层次元策略来生成子目标，而将如何实现子目标留给独立的强化学习子任务来完成，实验结果表明，该算法可以更有效地从过去的经验进行元学习。

    Sep, 2019