Jun, 2024

深入探索层级世界模型在强化学习中的限制

HTML
PDF
TL;DR层次模型强化学习(HMBRL)旨在将模型强化学习(MBRL)的更好的样本效率与层次化强化学习(HRL)的抽象能力结合起来，以高效地解决复杂任务。我们在这项工作中描述了一个新颖的HMBRL框架，并进行了全面评估。通过构建模拟不同时间抽象水平下环境动态的层次化世界模型来补充HRL的多层次决策制定方式。这些模型用于训练一系列以自上而下方式进行通信的代理，向下级代理提出目标。本研究的一个重点是探索静态且环境无关的时间抽象，从而允许在层次结构中同时训练模型和代理。与大多数以目标条件化的H(MB)RL方法不同，这也导致了较低维度的抽象动作。尽管我们的HMBRL方法在最终回合收益方面表现没有传统方法好，但它成功地利用紧凑、低维度的抽象动作在两个抽象层次上进行决策。我们在全面的实验中揭示了提高我们方法性能的一个核心挑战，即在我们的世界模型堆栈的抽象层级上进行模型利用。我们对这个问题进行了深入研究，讨论了它对领域的影响，并提出了克服这一挑战的未来研究方向。通过分享这些发现，我们旨在为改进HMBRL方法论的广泛讨论做出贡献，并帮助开发更有效的复杂决策环境的自主学习系统。
发现论文，激发创造
  • 数据效率的分层强化学习

    本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

    May, 2018

  • 无模型分层强化学习中的表示学习

    本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

    Oct, 2018

  • 基于模型的强化学习的博弈论框架

    本文提出了一种新的框架，将基于模型的强化学习（MBRL）视为博弈，通过构建领导者与跟随者之间的Stackelberg博弈来简化算法设计，并设计了两种自然算法家族，旨在促进样本效率。

    Apr, 2020

  • 层次强化学习的抽象值迭代

    提出一种新的基于连续状态和动作空间的控制的分层强化学习框架，其中用户指定状态的子集作为子目标区域，然后学习这些子目标区域之间的转换，并在生成的抽象决策过程(ADP)中构建高层计划，通过计划在抽象层和在具体层上的学习相结合的一个实际算法，优于现有的分层强化学习算法。

    Oct, 2020

  • DHRL: 一种基于图的长时间和稀疏层次强化学习方法

    本文提出了使用图形解耦合高层次和低层次策略视野的分层强化学习方法，该方法可以使高层次策略的操作间隔更加灵活，从而实现更长的时域抽象和更快的训练。与现有的分层强化学习算法相比，该方法在数据效率方面表现更好，在典型的分层强化学习环境中实现了复杂任务的长期和复杂的运动和操作。

    Oct, 2022

  • 复杂3D环境中的分层强化学习

    使用层次混合离线-在线的深度强化学习代理提出了一种解决HRL代理在可视复杂部分可观察3D环境中的问题的方法，并在DeepMind Hard Eight任务中与非分层Muesli基线相竞争，研究揭示了以前未注意到的实际挑战，并为了解复杂领域中的层次代理提供了新的视角。

    Feb, 2023

  • 通过基于模型的展开实现下层强化学习的引导协作

    通过引入模型预测、渐进惩罚等方法，本研究提出了一种基于目标条件的层次强化学习框架，实现了不同层级之间的合作，从而提高了长期目标探索任务中政策的稳定性和效率。实验结果表明，该框架在难度较高的探索问题和机器人控制方面，比基准模型和之前的最先进的层次强化学习算法表现更为稳定和优越。

    Sep, 2023

  • 协调空间和时间抽象以实现目标表征

    通过引入空间和时间目标抽象的三层层次强化学习（HRL）算法提高目标表示性能，评估了该算法在复杂连续控制任务上学习到的空间和时间抽象的有效性以及遗憾边界的理论研究。

    Jan, 2024

  • 分层变压器是高效的元强化学习者

    Hierarchical Transformers for Meta-Reinforcement Learning (HTrMRL) is an online meta-reinforcement learning approach that improves learning efficiency and generalization capabilities, outperforming the previous state-of-the-art algorithm in various tasks.

    Feb, 2024

  • 选项的强化学习

    目前的论文旨在探索强化学习领域，并在现有方法的基础上构建改进方法，以解决高维度和复杂环境中的学习问题。它通过分层的方式（称为层次强化学习）来分解学习任务，通过构建自主地学习层级结构的代理来提高效果。

    Mar, 2024