Feb, 2018

安全强化学习中的加速原始 - 对偶策略优化

PDF
TL;DR本文提出了一种用于受限 Markov 决策过程 CMDPs 的策略搜索方法 APDO，并在模拟机器人运动任务上实验，结果表明 APDO 比 CMDPs 的现有方法具有更好的采样效率和更快的收敛速度。
constrained markov decision processreinforcement learningsafety constraintspolicy searchaccelerated primal-dual optimization
发现论文，激发创造
  • 基于原始对偶策略优化的可证明高效安全探索

    该论文使用 CMDP 公式研究了安全强化学习（SRL）问题，在预期总回报的安全限制下最大化效用函数的预期总价值。提出了一种可证明计算效率和统计效率的在线策略优化算法 - OPTIMISTIC PRIMAL-DUAL PROXIMAL POLICY OPTIMIZATION（OPDOP）算法，利用最小二乘策略估计和安全探索额外奖励项来估计值函数。

    Mar, 2020

  • CMDP 离策略学习的近似最优原始对偶算法

    本研究针对离线数据的约束马尔可夫决策过程问题，引入了单策略集中度系数、提出了 DPDL 算法，并建立了样本复杂度下界，保证无约束违规。

    Jul, 2022

  • 非平稳目标和约束的可证明高效原始 - 对偶强化学习在 CMDPs 中的应用

    本文研究了具有不稳定目标和约束的约束马尔可夫决策过程的原始 - 对偶强化学习，并提出了具有安全性和适应性的时间变化中安全的 RL 算法，同时建立了动态遗憾界和约束违规界。

    Jan, 2022

  • 约束马尔可夫决策过程的原始对偶方法

    本文提出了一种基于采样的原始 - 对偶算法来解决带约束的马尔科夫决策过程，通过应用正则化策略迭代来改善策略，应用次梯度上升来保持约束。在弱耦合结构的情况下，通过嵌入式分解方法，能够显著减少问题的维度。将算法应用于多产品库存管理和多类队列调度，并表明它产生优于现有启发式算法的控制。

    Jan, 2021

  • 约束马尔科夫决策过程的更快算法和更精细分析

    本论文提出了一种新的原始对偶方法来解决带限制的马尔可夫决策过程问题，通过熵正规化策略优化器、对偶变量正规化器和 Nesterov 加速梯度下降对偶优化器等创新方法，全局收敛至凸优化下的凸约束，显示了目前已有的原始对偶算法无法达到的最优复杂度 O (1/ε)。

    Oct, 2021

  • 一种具有均匀 PAC 保证的限制 MDP 的策略梯度原始对偶算法

    我们介绍了一种具有均匀概率近似正确性保证的新型策略梯度原始 - 对偶算法，同时保证了收敛至最优策略、次线性遗憾和多项式样本复杂度的理论保证，并在一个简单的 CMDP 示例中进行实证展示，证明了算法收敛至最优策略，而现有算法则表现出振荡性能和约束违规。

    Jan, 2024

  • 基于上置信度的对偶强化学习用于带对抗损失的 CMDP

    本文关注于强化学习中保障安全的关键问题，提出一种新的基于置信上限的原始对偶算法，更好地解决了环境参数未知的情况下，限制条件作用下的 regret 分析。

    Mar, 2020

  • 基于策略的原始对偶法用于凸约束马尔可夫决策过程

    研究凸约束马尔可夫决策过程（CMDPs），提出基于策略的原始 - 对偶算法来解决优化问题和约束问题，通过隐藏在问题中的凸性证明了所提出的算法的全局收敛性，并以最优性差距和约束违规性表示，证明了算法的 $O (T^{-1/3})$ 收敛速度。

    May, 2022

  • 在受限马尔可夫决策过程中的真正无悔学习

    本文提出了一种基于正则化原始对偶方案的模型为基础的算法，用于学习未知的多约束 CMDP，并证明了该算法在没有误差抵消的情况下能够实现亚线性遗憾。

    Feb, 2024

  • 自适应原始对偶方法的安全强化学习

    在这篇论文中，我们提出了自适应原始 - 对偶（APD）方法用于安全强化学习（SRL），并分析和评估了该算法在实际环境中的性能。结果表明，与常数学习率情况相比，实际 APD 算法在训练过程中具有更好的性能和更稳定的训练结果。

    Feb, 2024