Sep, 2019

为什么在强化学习中层级结构有时候能够成功？

PDF
TL;DR本研究评估了层次强化学习中多个优点在包含运动、导航和操作的任务套件上的表现，发现大多数观察到的层次性优势可以归因于改进的探索，而不是政策学习或强制性的层次结构。给定此洞察，我们提出了启发式的探索技术，其性能与层次强化学习相当，同时使用和实现要简单得多。
hierarchical reinforcement learningexploration techniquesmarkovian settingspolicy learningsemantically meaningful action space
发现论文，激发创造
  • 数据效率的分层强化学习

    本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

    May, 2018

  • 学习多级层次结构及回溯

    本文介绍了一种新的 Hierarchical Reinforcement Learning (HRL) 框架 - Hierarchical Actor-Critic (HAC)，该框架能够克服在试图同时学习多个策略层级时出现的不稳定性问题，并能够在连续状态和动作空间的任务中成功地学习 3 级层级。

    Dec, 2017

  • 层次化模仿与强化学习

    论文提出了一种算法框架，称为层次性指导，旨在通过利用专家的反馈来学习序贯决策制定策略，以应对奖励稀疏和时间范围长等问题，该框架可以在不同的层次上组合不同的 imitation learning 和 reinforcement learning，从而大大减少专家工作量和探索成本，并对该框架的某些实例的标注成本进行了理论分析。

    Mar, 2018

  • 基于因果推断的强化学习层次化结构发现

    本论文提出了 CDHRL 框架，通过因果驱动探索而非随机驱动探索来构建高质量的分层结构，以提高分层强化学习的探索效率。实验表明，在 2D-Minecraft 和 Eden 两种复杂环境中，CDHRL 显著提高了探索效率。

    Oct, 2022

  • 层次强化学习中的特征控制作为内在动机

    本文介绍了一种通用的子目标类别，应用于端到端层次强化学习系统中，可用于处理含有稀疏奖励的 Montezuma 的复仇等 Atari 游戏。该方法引入了一组时间扩展行动，或选项，以及对应的子目标。

    May, 2017

  • 无模型分层强化学习中的表示学习

    本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

    Oct, 2018

  • 强化学习代理的紧急主导层级

    现代强化学习算法在各种任务中能够超越人类表现。本文研究了多智能体强化学习环境中的一个基本社会约定：优势等级体系。通过人工智能代理，无需明确编程或内在奖励，我们证明了代理群体能够发明、学习、强化和传播优势等级体系，其结构与鸡、老鼠、鱼类和其他物种的研究相似。

    Jan, 2024

  • 基于优势辅助奖励的分层强化学习

    本文提出一种基于 Hierarchical Reinforcement Learning 的框架，通过设置辅助奖励来适应下游任务，同时保持奖励设计的通用性。这种辅助奖励可实现高级策略和低级技能的高效、同时学习，无需使用特定任务的知识。实验结果表明，相比 Mujoco 领域中其他最先进的 HRL 方法，我们的算法有显著的性能优势，并且发现我们算法训练的低级和高级策略都是可转移的。

    Oct, 2019

  • 层次强化学习中用于紧急操作终止的立即反应方法

    提出一种方法，在强化学习中常常使用高级策略达到低级目标。本文在此基础上，针对现有方法无法验证高级动作是否过时的问题，通过对高级动作不断验证从而保持其有效性。通过实验验证，该方法能够在七个基准环境下同时具备分层 RL 和联邦 RL 的优点，实现了快速训练和即时反应。

    Nov, 2022

  • 从像素到四肢：四足动物运动的分层学习

    使用分层强化学习的方法，我们设计了一个四足机器人的策略网络，使之可以对复杂场景和地形进行动态腿部动作并同时处理视觉输入，体现障碍物回避和路径规划，此网络同时学习高层次神经网络策略和底层神经网络策略，达到相对于不分层的神经网络策略更高的学习效率。

    Nov, 2020