Jun, 2023

PEAR: 用于增强分层强化学习的原语启用自适应重新标记

HTML
PDF
TL;DR本研究提出一种基于 Hierarchical Reinforcement Learning (HRL) 和 imitation learning 的算法，称为 primitive enabled adaptive relabeling (PEAR)，其首先对少量的 expert demonstrations 进行自适应 relabeling，以生成子目标监督数据集，然后采用 imitation learning 来规范化 HRL agents，此方法可以被轻松地集成到典型的 model free reinforcement learning 算法中以解决大多数机器人任务。
发现论文，激发创造
  • 层次化模仿与强化学习

    论文提出了一种算法框架，称为层次性指导，旨在通过利用专家的反馈来学习序贯决策制定策略，以应对奖励稀疏和时间范围长等问题，该框架可以在不同的层次上组合不同的imitation learning和reinforcement learning，从而大大减少专家工作量和探索成本，并对该框架的某些实例的标注成本进行了理论分析。

    Mar, 2018

  • 数据效率的分层强化学习

    本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

    May, 2018

  • 中继策略学习：通过模仿和强化学习解决长时间间隔任务

    本文提出了一种中继策略学习的方法，可用于模仿和强化学习，旨在解决多阶段、长视程机器人任务，包括模仿学习阶段和强化学习阶段，通过学习目标条件分层策略和使用新颖的数据重新标记算法简化了政策学习问题，并证明了该方法在挑战性的厨房模拟环境中解决多阶段、长视程操作任务的有效性。

    Oct, 2019

  • 通过参数化行为基元加速机器人强化学习

    本研究探讨了使用机器人行动原语以改善强化学习代理的难度探索和性能，并提出了一种新的界面设计，将学习参数化行动原语的RL策略与机器人的交互结合起来，最终在三个不同的领域、图像输入和稀疏终端奖励下，显著提高了学习效率和任务性能。

    Oct, 2021

  • DHRL: 一种基于图的长时间和稀疏层次强化学习方法

    本文提出了使用图形解耦合高层次和低层次策略视野的分层强化学习方法，该方法可以使高层次策略的操作间隔更加灵活，从而实现更长的时域抽象和更快的训练。与现有的分层强化学习算法相比，该方法在数据效率方面表现更好，在典型的分层强化学习环境中实现了复杂任务的长期和复杂的运动和操作。

    Oct, 2022

  • CRISP: 层次强化学习中课程引导的基本原语子目标预测

    本文提出了一种新的分层算法，通过生成可实现的子目标的课程来训练逐层递进的策略，通过在少量专家演示中使用基础解析方法进行数据重标注，得到了可以用于多数机器人控制任务的适用的逐层递进的强化学习算法，实验结果表明，课程学习可以显著提高分层强化学习的效率。

    Apr, 2023

  • 无任务特定知识的自主强化学习自我监督课程生成

    提出了一种新颖的自主强化学习算法，能够根据智能体的学习进展生成自适应课程，使智能体能够高效地解决稀疏奖励迷宫导航任务，同时减少了手动复位。

    Nov, 2023

  • SERL: 一套用于样本高效的机器人强化学习的软件套件

    我们开发了一种精心实现的库，其中包含一种样本高效的离线深度强化学习方法，以及用于计算奖励和重置环境的方法，一个广泛采用的机器人的高质量控制器，和几个具有挑战性的示例任务。我们希望这些有希望的结果和我们的高质量开源实现将为机器人学界提供一个工具，以促进机器人强化学习的进一步发展。

    Jan, 2024

  • PIPER: 基于先验知识驱动的基于偏见重标记的层次强化学习

    通过基于偏好的学习来学习奖励模型，并利用此模型对更高级别的重放缓冲区进行重新标记，以缓解现有层次化方法中常见的非稳态问题，并在各种具有挑战性的稀疏奖励任务中展现出令人印象深刻的性能。

    Apr, 2024

  • DIPPER：直接优化偏好以加速基元级层次强化学习

    DIPPER是一种高效的分层方法，结合直接优化和强化学习，在从人类偏好数据中学习更高级策略和更低级策略的基础上，解决了从人类偏好数据学习复杂机器人任务的挑战。

    Jun, 2024