层次化模仿与强化学习

Mar, 2018

Hierarchical Imitation and Reinforcement Learning

Hoang M. Le, Nan Jiang, Alekh Agarwal, Miroslav Dudík, Yisong Yue...

TL;DR论文提出了一种算法框架，称为层次性指导，旨在通过利用专家的反馈来学习序贯决策制定策略，以应对奖励稀疏和时间范围长等问题，该框架可以在不同的层次上组合不同的imitation learning和reinforcement learning，从而大大减少专家工作量和探索成本，并对该框架的某些实例的标注成本进行了理论分析。

Abstract

We study the problem of learning policies over long time horizons. We present a framework that leverages and integrates two key concepts. First, we utilize hierarchical policy classes that enable planning over different time scales, i.e., the high level planner proposes a sequence of subgoals for the low level planner to achieve. Second, we utilize expert de

发现论文，激发创造

通过交互无悔学习实现强化学习和模仿学习

通过交互式学习和无悔在线学习的分析方法，本文扩展了现有结果，发展了利用成本信息的交互式模仿学习方法，并将该技术扩展到应对强化学习，提供了对在线近似策略迭代成功的理论支持，建议了一系列新的算法，并提供了对模仿学习和强化学习现有技术的统一视角。

Jun, 2014

为什么在强化学习中层级结构有时候能够成功?

本研究评估了层次强化学习中多个优点在包含运动、导航和操作的任务套件上的表现，发现大多数观察到的层次性优势可以归因于改进的探索，而不是政策学习或强制性的层次结构。给定此洞察，我们提出了启发式的探索技术，其性能与层次强化学习相当，同时使用和实现要简单得多。

Sep, 2019

中继策略学习：通过模仿和强化学习解决长时间间隔任务

本文提出了一种中继策略学习的方法，可用于模仿和强化学习，旨在解决多阶段、长视程机器人任务，包括模仿学习阶段和强化学习阶段，通过学习目标条件分层策略和使用新颖的数据重新标记算法简化了政策学习问题，并证明了该方法在挑战性的厨房模拟环境中解决多阶段、长视程操作任务的有效性。

Oct, 2019

奖励条件下的策略

本篇论文旨在探讨利用非专家轨迹收集数据进行监督学习以实现行为策略的泛化，探讨了基于此原理进行的策略搜索的方法，并在标准基准测试中与多种强化学习方法进行了比较。

Dec, 2019

基于EM的可证明分层模仿学习

本文利用潜在变量模型将层次化模仿学习问题转化为参数推断，理论上表征了Daniel等人（2016）提出的EM方法。研究了种群水平算法作为中间步骤的性能保证，证明了该算法在一定的正则条件下以高概率收敛于真实参数周围的范数球上。据我们所知，这是第一个仅观察原始状态-动作对的层次化模仿学习算法的性能保证。

Oct, 2020

层次强化学习的抽象值迭代

提出一种新的基于连续状态和动作空间的控制的分层强化学习框架，其中用户指定状态的子集作为子目标区域，然后学习这些子目标区域之间的转换，并在生成的抽象决策过程(ADP)中构建高层计划，通过计划在抽象层和在具体层上的学习相结合的一个实际算法，优于现有的分层强化学习算法。

Oct, 2020

分层决策Transformer

本文提出了一种层次算法用于从演示中学习序列模型，可解决强化学习中的任务策略估计问题，通过选择子目标来指导低层控制器完成任务，改善了以往方法的性能，并证明了其在多项任务中优于基线方法，表明层次模型适用于从演示中学习序列模型。

Sep, 2022

基于向量量化模型的分层仿真学习

本文提出使用强化学习来识别专家轨迹中的子目标，从而构建一个向量量化生成模型，以进行子目标级别的规划，并在复杂的长期决策问题上表现出色，优于现有技术。

Jan, 2023

CRISP: 层次强化学习中课程引导的基本原语子目标预测

本文提出了一种新的分层算法，通过生成可实现的子目标的课程来训练逐层递进的策略，通过在少量专家演示中使用基础解析方法进行数据重标注，得到了可以用于多数机器人控制任务的适用的逐层递进的强化学习算法，实验结果表明，课程学习可以显著提高分层强化学习的效率。

Apr, 2023

选项的强化学习

目前的论文旨在探索强化学习领域，并在现有方法的基础上构建改进方法，以解决高维度和复杂环境中的学习问题。它通过分层的方式（称为层次强化学习）来分解学习任务，通过构建自主地学习层级结构的代理来提高效果。

Mar, 2024