ICMLApr, 2023

在线强化学习中一般覆盖条件在有效函数逼近中的可证明优势

PDF
TL;DR本研究聚焦于在线强化学习中，使用一定的覆盖条件能够确保样本高效，通过挖掘更多的覆盖条件，研究了其在提高样本效率方面的潜力和效用，进一步证明使用覆盖条件能够实现在线强化学习的高效性，包括 $L^p$ 集中性方差实现、密度比实现、偏差 / 休息覆盖条件的权衡以及基于探索性离线数据使用统计和计算有效保证等。
online reinforcement learningcoverage conditionsample-efficiency$l^p$ concentrabilityregret bound
发现论文，激发创造
  • 在线强化学习中覆盖率的作用

    该论文研究覆盖条件在离线强化学习中的作用，并通过建立覆盖条件与在线强化学习之间的联系，证明存在具有良好覆盖性的数据分布可以使在线 RL 更具样本效率。此外，提出了用于衡量覆盖性的新型复杂度量和弱覆盖性概念的不足。

    Oct, 2022

  • 增加覆盖分布的离线强化学习

    本文研究在函数逼近的情况下，从已有数据集合学习最优策略的离线强化学习问题。研究发现，本文提出的一种简单基于边缘重要采样的算法，可以在数据集合的覆盖率不完整、函数类弱可学习的条件下，通过附加覆盖分布的先验知识来实现理论上的有限次样本保证，同时揭示了学习过程中引入的归纳偏差在覆盖数量与先验知识之间的权衡效应。

    May, 2023

  • 具可实现性和单策略集中性的离线强化学习

    本文研究除去 Bellman-completeness 和 all-policy concentrability 强假设是否可以在两个因素上弱化假设，结果证明基于 MDPs 的原始 - 对偶算法可以实现针对单策略可集中性的多项式样本复杂度，提供了不同假设的替代分析，为离线 RL 的原始 - 对偶算法提供新方法。

    Feb, 2022

  • 可扩展的在线探索

    探索是强化学习中的一个主要挑战，该研究提出了探索目标 —— 一种能够使任何奖励函数最大化的政策优化目标，作为一个概念框架来系统研究探索。在这个框架中，引入了一个新的目标 $L_1$-Coverage，它推广了以前的探索方案并支持三个基本的愿望：内在复杂性控制、高效规划和高效探索。经验证实，$L_1$-Coverage 能够有效地驱动政策优化算法对状态空间进行探索。

    Mar, 2024

  • 基于悲观模型的部分覆盖离线强化学习

    研究在线学习中常见的数据不全覆盖情况，提出 Constrained Pessimistic Policy Optimization (CPPO) 算法，基于模型类别的限制来表示悲观情况，算法可以在数据不全覆盖的情况下具有 PAC 保证。

    Jul, 2021

  • 离线强化学习：值函数逼近的基本限制

    本研究针对离线强化学习问题，研究了在实践中越来越受到关注的离线值函数逼近方法，发现其需要有限制的覆盖条件或超出监督学习的表示条件，并提出了所谓的过覆盖现象，阐述了在线和离线强化学习之间的巨大分离性，最终得出任何算法都需要多项式大小的样本复杂度来学习非平凡策略的结论。

    Nov, 2021

  • PAC 强化学习的主动覆盖

    本研究提出了一个灵活的框架来解决强化学习过程中数据覆盖率问题，并通过 CovGame 算法来匹配最低采样复杂度，进而解决了不同的演示性增强学习任务问题。

    Jun, 2023

  • 潜在 MDP 中的强化学习是可行的：通过离线策略评估实现在线保证

    我们介绍了没有任何附加结构假设的 Latent Markov Decision Processes (LMDPs) 的第一个样本高效算法，并建立了新的离线评估引理和 LMDPs 的新覆盖系数，通过这些结果可以推导出一种乐观探索算法的近似最优保证。我们相信这些结果对于广泛的交互式学习问题，特别是部分观测环境中，具有重要价值。

    Jun, 2024

  • 基于价值和密度比实现的离线强化学习：间隙的威力

    本研究针对离线强化学习中的样本利用效率问题，提出了基于地位结构的重要性采样（MIS）的悲观算法，并利用较弱的函数逼近前提给出保证。

    Mar, 2022

  • 广义函数逼近下的最优保守离线强化学习增广朗格朗日方法

    本文基于边缘化重要性取样 (RL) 提出了一种新的离线强化学习算法，以实现一般函数逼近和单策略可集中性的统计最优性，无需不确定性量化，并且通过应用增广 Lagrange 方法，保证某些占用有效性约束的近似满足。与以往力图通过行为规则化等方法引入额外保守性的算法不同，本文方法证明消除了这种需求，并将规则化器重新解释为 “占用有效性的执行者”，而不是 “保守性的促进者”。

    Nov, 2022