Jun, 2024

潜在MDP中的强化学习是可行的：通过离线策略评估实现在线保证

HTML
PDF
TL;DR我们介绍了没有任何附加结构假设的Latent Markov Decision Processes (LMDPs)的第一个样本高效算法，并建立了新的离线评估引理和LMDPs的新覆盖系数，通过这些结果可以推导出一种乐观探索算法的近似最优保证。我们相信这些结果对于广泛的交互式学习问题，特别是部分观测环境中，具有重要价值。
发现论文，激发创造
  • 部分可观测环境中的离线策略评估

    该论文研究了部分可观察环境下的强化学习离线策略评估的问题，针对部分可观察的马尔可夫决策过程（POMDPs）建立了离线策略评估的模型，并在新模型下对 POMDPs 进行了更准确的评估并证明了重要性采样等传统方法的局限性。

    Sep, 2019

  • 具有潜在混淆因素的无限时段强化学习中的离线评估

    针对强化学习领域中的Off-policy Evaluation问题，本研究提出了一种基于无法观测到的干扰变量的无限时域Markov决策过程方法，并通过使用代理估计稳态分布比率以及最优化平衡等阶段性的方法，从Off-policy数据中识别政策价值。

    Jul, 2020

  • 潜在MDPs的强化学习: 遗憾保证和下界

    在本文中，我们考虑了隐式马尔科夫决策过程中强化学习的遗憾最小化问题，我们提出了一个具有局部保证的有效算法，以解决这个问题。

    Feb, 2021

  • 策略微调：连接高样本效率离线与在线强化学习

    本文研究了在线学习与离线数据集学习两种环境下的样本有效的强化学习，提出了一个新的策略微调问题——在线 RL 中，学习者在某种意义下可以接近最优策略，并在马尔科夫决策过程(MDP) 中解决了这个问题。我们还提出了一个新的混合离线/在线策略微调算法，达到了更好的样本复杂度。

    Jun, 2021

  • 基于悲观模型的部分覆盖离线强化学习

    研究在线学习中常见的数据不全覆盖情况，提出Constrained Pessimistic Policy Optimization (CPPO)算法，基于模型类别的限制来表示悲观情况，算法可以在数据不全覆盖的情况下具有PAC保证。

    Jul, 2021

  • 在线强化学习中一般覆盖条件在有效函数逼近中的可证明优势

    本研究聚焦于在线强化学习中，使用一定的覆盖条件能够确保样本高效，通过挖掘更多的覆盖条件，研究了其在提高样本效率方面的潜力和效用，进一步证明使用覆盖条件能够实现在线强化学习的高效性，包括 $L^p$ 集中性方差实现、密度比实现、偏差/休息覆盖条件的权衡以及基于探索性离线数据使用统计和计算有效保证等。

    Apr, 2023

  • 具低秩结构的离线强化学习矩阵估计

    本文提出了一种离线策略评估算法，该算法利用了隐含的低秩结构来估计未被覆盖的状态-动作对的值，同时提供了一个离线策略优化算法，且具有非渐近性能保证。

    May, 2023

  • PAC 强化学习的主动覆盖

    本研究提出了一个灵活的框架来解决强化学习过程中数据覆盖率问题，并通过 CovGame 算法来匹配最低采样复杂度，进而解决了不同的演示性增强学习任务问题。

    Jun, 2023

  • 潜在马尔可夫决策过程的前瞻性侧信息

    在许多交互决策的场景中存在着潜在且未被观察到的固定信息。本文研究了拥有潜在上下文信息的潜在马尔可夫决策过程（LMDP）类的问题，证明了任何具有样本高效算法的算法必须至少具有Ω(K^(2/3))的后悔，提出了一个具有匹配上限的算法。

    Oct, 2023

  • 分离潜在马尔可夫决策过程中的近优学习与规划

    我们研究了学习潜在马尔可夫决策过程（LMDPs）的计算和统计学方面。本文的主要目标是建立一个几乎精确的统计阈值，以实现有效学习所需的时间长度。在计算方面，我们证明，在最优策略下具有较弱的分离性假设时，存在一个几乎多项式的算法，时间复杂度与统计阈值成比例。我们还基于指数时间假设，展示了一个近似的时间复杂度下界。

    Jun, 2024