Jun, 2024

SaVeR: 基于表格型 MDP 的安全策略评估的最优数据收集策略

PDF
TL;DR本文研究了在表格化马尔可夫决策过程中针对策略评估目的的安全数据收集。我们考虑了行为策略的安全性约束，并提出了一种算法来近似安全的预言算法，并保证其满足安全性约束。通过模拟实验证明该算法在满足约束条件的情况下能够产生低均方误差的策略评估结果。
safe data collectionpolicy evaluationmarkov decision processesbehavior policysafety constraint
发现论文，激发创造
  • 行为策略搜索增强数据高效策略评估

    本篇论文提出了一个基于行为策略的评估方法，利用之前数据收集的行为策略，提供了一个标准方法更低均方误差无偏估计的解决方案，并给出了优化理论和搜索算法。

    Jun, 2017

  • 马尔科夫决策过程的安全约束强化学习

    该论文研究了针对随机和部分未知环境下控制器综合的相关问题，并提出了一种基于安全的 Markov 决策过程的解决方案，并利用迭代学习过程来实现安全性和最优性的权衡。

    Oct, 2015

  • 受限马尔可夫决策过程中安全的强化学习

    该研究提出了一种名为 SNO-MDP 的算法，它可以在未知安全约束条件下探索和优化马尔可夫决策过程，通过扩展安全区域来学习安全约束条件，进而在已认证的安全区域内优化累积奖励。通过两个实验展示了该算法的有效性。

    Aug, 2020

  • 零或有界约束违规的约束马尔可夫决策过程策略学习

    本文探讨了在强化学习过程中如何确保系统安全，并提出了一种基于 Markov 决策过程的算法，通过乐观悲观原则实现了安全探索和奖励控制，使系统在保证零约束违规的前提下，获得可观的奖励表现。

    Jun, 2021

  • 基于原始对偶策略优化的可证明高效安全探索

    该论文使用 CMDP 公式研究了安全强化学习（SRL）问题，在预期总回报的安全限制下最大化效用函数的预期总价值。提出了一种可证明计算效率和统计效率的在线策略优化算法 - OPTIMISTIC PRIMAL-DUAL PROXIMAL POLICY OPTIMIZATION（OPDOP）算法，利用最小二乘策略估计和安全探索额外奖励项来估计值函数。

    Mar, 2020

  • 通过原始 - 对偶方法实现强化学习的安全策略

    研究控制一个在运作时间内有高概率保持期望安全集合的 Markov 决策过程的学习问题，使用一种约束的 Markov 决策过程来处理，通过提出一种问题的差分松弛方法，使得有最优安全保障的策略能够被发现。

    Nov, 2019

  • 自适应数据采集的增强学习离线策略评估

    本文针对相对于通常的数据收集方式更加广义的数据收集方式下离线 RL 算法的理论保证问题进行研究，并探讨 TMIS Offline Policy Evaluation 在 tabular MDPs 下的最小最优保证问题及实验分析。

    Jun, 2023

  • 马尔可夫决策过程中的弱分布重叠下的离策略评估

    在马尔可夫决策过程的顺序忽略性下，具有两重鲁棒性的方法在离线策略评估中具有良好的性能，通过引入一种截断两重鲁棒估计器，该方法能够在不满足强分布重叠假设的情况下实现准确的离线策略评估。

    Feb, 2024

  • 通过学习不良轨迹的时间模式和避免负面副作用来进行安全的 MDP 规划

    本文介绍了一种用于安全 MDP 规划的方法，它基于对状态 - 动作轨迹的安全度量，用监督学习模型学习非马尔可夫安全模式，并通过 Lagrange 乘子方法和计算图优化代理学习安全行为。实验结果表明，该方法可以满足非马尔可夫的安全约束条件，比马尔可夫 NCE 的先前最佳方法更好。

    Apr, 2023

  • 受限 MDP 的安全后验采样与约束违规的界限控制

    本研究提出了一种基于后验抽样的强化学习算法 Safe PSRL，它能够在不需要安全策略的前提下有效地平衡探索和开发，并通过采用悲观主义的思想仅受到有界的约束违规，从而在理论和实践上得到了良好的表现。

    Jan, 2023