Mar, 2024

可扩展的在线探索

PDF
TL;DR探索是强化学习中的一个主要挑战，该研究提出了探索目标 —— 一种能够使任何奖励函数最大化的政策优化目标，作为一个概念框架来系统研究探索。在这个框架中，引入了一个新的目标 $L_1$-Coverage，它推广了以前的探索方案并支持三个基本的愿望：内在复杂性控制、高效规划和高效探索。经验证实，$L_1$-Coverage 能够有效地驱动政策优化算法对状态空间进行探索。
发现论文，激发创造
  • 在线强化学习中覆盖率的作用

    该论文研究覆盖条件在离线强化学习中的作用，并通过建立覆盖条件与在线强化学习之间的联系，证明存在具有良好覆盖性的数据分布可以使在线 RL 更具样本效率。此外，提出了用于衡量覆盖性的新型复杂度量和弱覆盖性概念的不足。

    Oct, 2022

  • 在线强化学习中一般覆盖条件在有效函数逼近中的可证明优势

    本研究聚焦于在线强化学习中，使用一定的覆盖条件能够确保样本高效，通过挖掘更多的覆盖条件，研究了其在提高样本效率方面的潜力和效用，进一步证明使用覆盖条件能够实现在线强化学习的高效性，包括 $L^p$ 集中性方差实现、密度比实现、偏差 / 休息覆盖条件的权衡以及基于探索性离线数据使用统计和计算有效保证等。

    Apr, 2023

  • 增加覆盖分布的离线强化学习

    本文研究在函数逼近的情况下，从已有数据集合学习最优策略的离线强化学习问题。研究发现，本文提出的一种简单基于边缘重要采样的算法，可以在数据集合的覆盖率不完整、函数类弱可学习的条件下，通过附加覆盖分布的先验知识来实现理论上的有限次样本保证，同时揭示了学习过程中引入的归纳偏差在覆盖数量与先验知识之间的权衡效应。

    May, 2023

  • PAC 强化学习的主动覆盖

    本研究提出了一个灵活的框架来解决强化学习过程中数据覆盖率问题，并通过 CovGame 算法来匹配最低采样复杂度，进而解决了不同的演示性增强学习任务问题。

    Jun, 2023

  • 通过最小化覆盖时间发现探索选项

    该论文研究强化学习中处理稀疏回报的方法，提出了通过构造最小化覆盖时间的选项来加速探索的算法，并在多个领域实验证明其可以改善学习效率。

    Mar, 2019

  • PC-PG: 基于策略覆盖指导探索的可证明策略梯度学习

    介绍了 Policy Cover-Policy Gradient (PC-PG) 算法，其通过学习的策略集 (策略保证) 来平衡探索和开发的权衡，同时具有强大的模型误差优化保证

    Jul, 2020

  • 一种融合估计和规划的最大化目标用于探索

    本研究提出了一个易于实现的 RL 框架 Maximize to Explore（MEX），它通过最大化一个综合了估计和规划分量的单一目标，在自动平衡探索和利用方面实现了比现有算法更高的采样效率，并实现了更低的计算成本和更好的与现代深度 RL 方法兼容性。

    May, 2023

  • 低秩马尔可夫决策过程中的高效无模型探索

    VoX 算法是首个可证明的高效的基于样本的搜索低阶马尔可夫决策过程算法，具备泛化功能近似且无需其他结构假设。该算法通过交替表示学习和策略优化，利用通用最优设计概念实现有效的最优设计计算。我们的分析简单而模块化，包括基于 Frank-Wolfe 方法的新型最优设计计算到策略优化的约简，以及对先前工作中某种特征嵌入的优化过的模块化分析。

    Jul, 2023

  • 未知环境下在线覆盖路径规划的端到端强化学习

    该研究提出了基于强化学习的、连续状态和动作空间下的在线覆盖路径规划方法，用于处理未知环境的大型区域，并且结合了全局地图和局部感知输入，以及多尺度地图输入表示的观测空间构建，通过提出的全变差奖励，实现了学习路径上无漏洞被覆盖的目标。

    Jun, 2023

  • 潜在 MDP 中的强化学习是可行的：通过离线策略评估实现在线保证

    我们介绍了没有任何附加结构假设的 Latent Markov Decision Processes (LMDPs) 的第一个样本高效算法，并建立了新的离线评估引理和 LMDPs 的新覆盖系数，通过这些结果可以推导出一种乐观探索算法的近似最优保证。我们相信这些结果对于广泛的交互式学习问题，特别是部分观测环境中，具有重要价值。

    Jun, 2024