Jan, 2023

受限 MDP 的安全后验采样与约束违规的界限控制

PDF
TL;DR本研究提出了一种基于后验抽样的强化学习算法 Safe PSRL，它能够在不需要安全策略的前提下有效地平衡探索和开发，并通过采用悲观主义的思想仅受到有界的约束违规，从而在理论和实践上得到了良好的表现。
constrained markov decision processesposterior sampling-based rlexploration and exploitationtheoretical regret boundsbounded constraint violation
发现论文，激发创造
  • 有保证的受限强化学习中高效的探索：后验抽样即可

    基于后验抽样的算法在约束马尔可夫决策过程（CMDP）的无限时间不折扣设置中提供了近最优的遗憾界限，同时在实证上比现有算法更具优势。

    Sep, 2023

  • 平均奖励约束下有效的强化学习探索：通过后验抽样实现接近最优的遗憾

    基于后验抽样的新算法在无限时间视野下的有约束马尔科夫决策过程学习中实现了几乎最优的悔恨界限，并在实践中相比现有算法具有优势。

    May, 2024

  • 基于模型的强化学习在连续控制中的后验采样

    本文研究了连续状态动作空间中强化学习的基于模型的后验抽样（PSRL），提出了第一个后验抽样的遗憾上界，并开发了 MPC–PSRL 算法来选择动作，通过贝叶斯线性回归捕获模型中的不确定性，在基准连续控制任务中实现了最先进的样本效率，并与无模型算法的渐近性能相匹配。

    Nov, 2020

  • 通过后验抽样实现（更）高效的强化学习

    该研究提出了一种用于强化学习的后验采样方法（PSRL），通过对一个先验分布进行贝叶斯更新来在已知的一系列时段内实现对 Markov 决策过程的优化，从而达到高效的探索。该算法在时间，状态和行动空间上有明显的性能优势，并具有一定的先验知识编码能力。

    Jun, 2013

  • 基于原始对偶策略优化的可证明高效安全探索

    该论文使用 CMDP 公式研究了安全强化学习（SRL）问题，在预期总回报的安全限制下最大化效用函数的预期总价值。提出了一种可证明计算效率和统计效率的在线策略优化算法 - OPTIMISTIC PRIMAL-DUAL PROXIMAL POLICY OPTIMIZATION（OPDOP）算法，利用最小二乘策略估计和安全探索额外奖励项来估计值函数。

    Mar, 2020

  • 零或有界约束违规的约束马尔可夫决策过程策略学习

    本文探讨了在强化学习过程中如何确保系统安全，并提出了一种基于 Markov 决策过程的算法，通过乐观悲观原则实现了安全探索和奖励控制，使系统在保证零约束违规的前提下，获得可观的奖励表现。

    Jun, 2021

  • 在受限马尔可夫决策过程中的真正无悔学习

    本文提出了一种基于正则化原始对偶方案的模型为基础的算法，用于学习未知的多约束 CMDP，并证明了该算法在没有误差抵消的情况下能够实现亚线性遗憾。

    Feb, 2024

  • 带安全约束的学习：有约束 MDP 的强化学习样本复杂度

    研究未知的 CMDP 和两种 RL 算法的关系，在满足安全约束的情况下，探索样本复杂性。结果表明，相对于不受约束的情况，受约束的 RL 算法的样本复杂性增加的因子是约束数量的对数，该方法可以在实际系统中轻松使用。

    Aug, 2020

  • 面向有约束 MDPs 的无痛政策优化

    研究无限时间、折扣的约束马尔可夫决策过程中的政策优化问题，提出了一种泛化的原始 - 对偶框架，用于评估算法表现，实例化了此框架来使用硬币投注算法并证明了其结果的目标约束逼近度，以及并非像其他方法一样需要超参数调整，并通过对合成和 Cartpole 环境的实验证明了其效力和稳健性。

    Apr, 2022

  • 先验依赖的函数逼近后验采样强化学习分析

    利用线性混合马尔可夫决策过程模拟的函数逼近方法，本研究推进了强化学习中的随机探索。我们建立了关于函数逼近的依赖先验的贝叶斯遗憾界限，并对后验抽样强化学习的贝叶斯遗憾分析进行了改进，提出了一个上界为 O (d√(H^3 T log T)) 的方法，其中 d 表示转移核的维度，H 表示规划时间，T 表示总交互次数。相对于线性混合马尔可夫决策过程的先前基准 (Osband 和 Van Roy，2014) 优化了 O (√log T) 因子，我们的方法采用了面向值的模型学习视角，引入解耦和方案和方差减少技术，超越了传统分析对置信区间和集中不等式的依赖，更有效地规范贝叶斯遗憾界限。

    Mar, 2024