Aug, 2024

基于模型的强化学习：一种极简策略应对无地平线和二阶界限

HTML
PDF
TL;DR本研究解决了基于模型的强化学习在在线与离线设置中的悔恨与样本复杂度界限的问题。通过引入乐观与悲观规划程序，在简单的模型学习框架下，我们实现了无地平线和二阶界限的强悔恨分析。我们的算法简洁且标准，能够有效利用丰富的函数逼近能力，具有重要的理论与实际应用价值。
发现论文，激发创造
  • 模型基深度强化学习算法框架及其理论保证

    本文提出了一种新的算法框架来设计和分析具有理论保证的基于模型的强化学习算法，该框架将不确定性原则扩展到非线性动态模型，其中模型SLBO在连续控制基准任务上实现了最先进的性能。

    Jul, 2018

  • 使用值函数界限在没有领域知识的情况下加强强化学习的问题相关遗憾范围

    该研究针对有限时间段的离散马尔科夫决策问题，提出了一种算法并分析了其性能上限，得出了最先进的范围和如果环境规范小则更紧的限制，其不需要先前对应环境规范的知识，能解决经验学习中常常遇到的限制问题。

    Jan, 2019

  • 基于模型的强化学习中贪心策略的严格遗憾界

    本文聚焦在有限状态有限时间的马尔科夫决策过程设置下的模型基RL，证明了探索具有贪心策略可以实现紧密的极小极大性能，从而完全避免使用full-planning，而复杂度降为S，并通过实时动态规划进行了新颖的分析。

    May, 2019

  • 基于模型的强化学习与价值目标回归

    本文研究基于模型的强化学习中的后悔最小化问题，提出一种基于乐观主义原则和线性混合模型的算法，并推导出一些后悔界的理论结果。

    Jun, 2020

  • 非平稳RL中的无模型方法：接近最优遗憾及在多智能体RL和库存控制中的应用

    提出了RestartQ-UCB算法，它是第一个非定常强化学习的模型自由算法，并且通过实验证明在多代理强化学习和相关产品库存控制方面具有较好的性能。

    Oct, 2020

  • 悲观策略在离线强化学习中能被证明是高效的吗？

    本文提出了一种悲观的价值迭代算法（PEVI），它通过引入一个不确定性量化器作为惩罚函数来解决离线强化学习中因数据集覆盖不足而导致的不足问题，并在泛化情况下对其次优性建立了数据相关的上限。

    Dec, 2020

  • 基于约束的强化学习的简单无回报方法

    本文探讨奖励自由强化学习和受限制的强化学习之间的联系，在标记MDP设置中，我们提出了一种简单的元算法，利用现有的奖励自由RL解算器，对受限制的强化学习问题进行直接求解， 在现有结果的基础上匹配最佳结果，同时在线性函数近似下，我们直接将其扩展到标记二人马尔可夫博弈的设置中，并提供了一个新的受限制的RL结果。

    Jul, 2021

  • 基于无界时间跨度和方差的隐含马尔可夫决策过程强化学习

    本文研究基于后知的上下文中的潜在马尔可夫决策过程（LMDPs）的强化学习中的遗憾最小化问题，设计了一种新的基于模型的算法框架，证明了具有一定时间复杂度的遗憾上限。

    Oct, 2022

  • 线性马尔可夫决策过程的无界遗憾

    近期一些研究工作展示了强化学习中降低后悔的边界可以（几乎）与计划周期无关，即所谓的无周期边界。然而，这些后悔边界仅适用于允许对转移模型大小多项式依赖的设置，例如表格型马尔科夫决策过程（MDP）和线性混合MDP。我们给出了流行的线性MDP设置的首个无周期边界，其中转移模型的大小可以是指数级大甚至是不可数的。与先前的工作相比，该方法不需要明确估计转移模型并计算不同时间步的非齐次值函数，而是直接估计值函数和置信区间集合。通过保持多个加权最小二乘估计器，该方法获得了无周期边界，并且通过结构引理证明了非齐次值函数的最大总变差受特征维数的多项式因子限制。

    Mar, 2024

  • 混合强化学习突破线性马尔可夫决策过程中的样本数量限制

    本研究解决了混合强化学习（RL）在保证无单一策略集中的假设下，是否可以改善纯离线和纯在线RL所建立的下界这一问题。通过研发高效算法，发现这些算法在提高误差或后悔界限方面实现了显著进展，为线性马尔可夫决策过程中的混合RL提供了最严格的理论保证。

    Aug, 2024