Sep, 2020

未知结构分解 MDP 中的 Oracle 高效遗憾最小化

PDF
TL;DR本研究旨在通过基于乐观面对不确定性原则的算法，结合一种简单的统计方法来实现在学习 FMDP 结构的同时最小化后悔，证明了一个新的已知结构情况下处理的下界，并提出了一种变体算法，即使在现有近似规划器只限于非分解动作的情况下，仍然保持有效。
regret minimizationfmdpsstructure learningoptimismmarkov decision processes
发现论文，激发创造
  • 面向因式化马尔可夫决策过程的极小极大最优强化学习

    本文研究了在 FMDP 中使用最小最大算法的强化学习，提出了两种基于模型的算法，并通过结构相关的阈值证明了其保证。

    Jun, 2020

  • 基于极小化遗憾优化的不确定马尔可夫决策过程鲁棒规划

    本文旨在通过引入一种 Bellman 方程式来计算政策的懊悔，提出了一种基于动态规划算法的方法，以便为具有不确定成本和转移函数的 SSP UMDPs 规划，该方法精确地优化了具有独立不确定性的 UMDPs 的最小化极大遗憾，并通过选项扩展了该方法，以使计算和解决方案质量之间存在权衡。在人造和实际领域中评估我们的方法，显示它明显优于现有的基线。

    Dec, 2020

  • 分解马尔可夫决策过程中近最优强化学习

    通过采用 posterior sampling reinforcement learning (PSRL) 算法和 upper confidence bound algorithm (UCRL-Factored) 算法，在已知为 factored MDP 系统中，可将 regret 值多项式缩小到编码所需的 factored MDP 参数数量级别，从而大大减少了学习时间。

    Mar, 2014

  • 提高分解平均奖励 MDP 的探索能力

    研究了在未知的分解式马尔可夫决策过程（FMDP）中，以平均奖励标准为基础的遗憾最小化任务。提出了一种新的遗憾最小化策略 DBN-UCRL，该策略依赖于对转换函数的单独元素定义的 Bernstein 类型置信区间，并在标准环境下进行了数值实验。

    Sep, 2020

  • 在平均回报 MDPs 中实现可行的最小最优后悔

    这篇论文介绍了一种具有最小最大后悔度的可行算法，该算法通过使用一种新颖的子程序，即 Projected Mitigated Extended Value Iteration（PMEVI），来高效地计算偏差受限最优策略。同时，该算法不需要先前关于偏差函数的信息。

    Jun, 2024

  • 基于无界时间跨度和方差的隐含马尔可夫决策过程强化学习

    本文研究基于后知的上下文中的潜在马尔可夫决策过程（LMDPs）的强化学习中的遗憾最小化问题，设计了一种新的基于模型的算法框架，证明了具有一定时间复杂度的遗憾上限。

    Oct, 2022

  • 具有约束条件的无限时间平均奖励马尔可夫决策过程学习

    本研究提出了一种政策优化算法，用于处理成本约束下的无限时间跨度平均奖励马尔可夫决策过程中的后悔最小化问题，该算法在符合一定条件的 MDP 下具有较低的后悔度和约束违反率，并将其推广到弱通信 MDP 领域，为该领域提供了复杂度可行的算法。

    Jan, 2022

  • 稀疏强化学习的双重稳健方法

    我们提出了一种新的遗憾最小化算法，用于具有稀疏线性马尔可夫决策过程（SMDP）的情节性问题，其中状态转移分布是观察特征的线性函数。

    Oct, 2023

  • 马尔科夫决策过程的差分隐私遗憾最小化

    研究有限时段表格马尔可夫决策过程（MDPs）中的遗憾最小化问题，在差分隐私（DP）约束条件下，提出两种 DP 变体的通用框架 -- 集中式 DP（JDP）和本地 DP（LDP）-- 以设计带有隐私机制的强化学习算法，其中 JDP 的隐私代价仅为下限加项，而 LDP 的代价则是乘法项。同时获得次线性的遗憾保证，并提出了该分析的统一方法。

    Dec, 2021

  • 潜在 MDPs 的强化学习：遗憾保证和下界

    在本文中，我们考虑了隐式马尔科夫决策过程中强化学习的遗憾最小化问题，我们提出了一个具有局部保证的有效算法，以解决这个问题。

    Feb, 2021