高效约束强化学习与普适参数化

May, 2024

Sample-Efficient Constrained Reinforcement Learning with General Parameterization

Washim Uddin Mondal, Vaneet Aggarwal

TL;DR在受限制的马尔可夫决策问题（CMDP）中，我们开发了原始 - 对偶加速自然策略梯度（PD-ANPG）算法，它保证了 ε 全局最优性差距和 ε 约束违反，样本复杂度为 O (ε^-3)，从而在 CMDP 的样本复杂度上取得了 O (ε^-1) 的进展。

Abstract

We consider a constrained markov decision problem (CMDP) where the goal of an agent is to maximize the expected discounted sum of rewards over an infinite horizon while ensuring that the expected discounted sum of costs exceeds a certain threshold. Building on the idea of momentum-base

constrained markov decision problem primal-dual accelerated natural policy gradient sample complexity global optimality gap constraint violation

发现论文，激发创造

通过保守的自然策略梯度原始 - 对偶算法实现约束强化学习的零约束违反

提出一种新颖的 C-NPG-PD 算法以达到全局最优并减少训练样例复杂度，解决了连续状态 - 动作空间下的限制马尔可夫决策过程问题。

Jun, 2022

具有全局收敛保证的内点约束强化学习

在无限时间、约束的马尔科夫决策过程中，通过零阶内点方法实现约束满足，以最大化预期累积奖励，确保策略在学习过程中的可行性，并具有样本复杂度 O (ε^(-6))

Dec, 2023

通过原始 - 对偶策略梯度算法学习无限时域平均奖励受限马尔可夫决策过程的通用参数化策略

本文研究了无限时段平均回报约束马尔可夫决策过程（CMDP）。在我们的知识范围内，该工作是第一个深入探讨了具有一般策略参数化的平均回报 CMDP 的遗憾和约束违反分析。为了解决这个挑战，我们提出了一种基于原始对偶的策略梯度算法，能够在确保低遗憾全局最优策略的同时，灵活处理约束。特别地，我们证明了我们提出的算法实现了 $\tilde {\mathcal {O}}({T}^{3/4})$ 的目标遗憾和 $\tilde {\mathcal {O}}({T}^{3/4})$ 的约束违反界限。

Feb, 2024

自然策略梯度算法对无限时间折扣回报马尔可夫决策过程的参数化泛化的样本复杂度改进

设计高效学习算法解决无限时间折扣奖励马尔可夫决策过程问题，提出了应用加速随机梯度下降过程获取自然策略梯度的加速自然策略梯度算法（ANPG）。ANPG 在一般参数化情况下，实现了 O (ε^-2) 的样本复杂度和 O (ε^-1) 的迭代复杂度，其中 ε 定义了最优性误差。相比现有技术，ANPG 通过一个 log (1/ε) 因子改进了样本复杂度。ANPG 是一个一阶算法，并且不需要假设重要性采样权重的方差有上界，这与一些现有文献不同。在无 Hessian 和无重要性采样算法类别中，ANPG 的样本复杂度超过了已知算法的 O (ε^-1/2) 倍，并与他们的迭代复杂度相匹配。

Oct, 2023

约束马尔科夫决策过程的更快算法和更精细分析

本论文提出了一种新的原始对偶方法来解决带限制的马尔可夫决策过程问题，通过熵正规化策略优化器、对偶变量正规化器和 Nesterov 加速梯度下降对偶优化器等创新方法，全局收敛至凸优化下的凸约束，显示了目前已有的原始对偶算法无法达到的最优复杂度 O (1/ε)。

Oct, 2021

在约束马尔可夫决策过程中实现 $\tilde {O}(1/ε)$ 的样本复杂性

我们研究了强化学习问题中的约束马尔可夫决策过程（CMDP），并通过优化算法对 CMDP 问题的样本复杂度提出了改进，实现了优化的问题相关保证。

Feb, 2024

面向有约束 MDPs 的无痛政策优化

研究无限时间、折扣的约束马尔可夫决策过程中的政策优化问题，提出了一种泛化的原始 - 对偶框架，用于评估算法表现，实例化了此框架来使用硬币投注算法并证明了其结果的目标约束逼近度，以及并非像其他方法一样需要超参数调整，并通过对合成和 Cartpole 环境的实验证明了其效力和稳健性。

Apr, 2022

一种具有均匀 PAC 保证的限制 MDP 的策略梯度原始对偶算法

我们介绍了一种具有均匀概率近似正确性保证的新型策略梯度原始 - 对偶算法，同时保证了收敛至最优策略、次线性遗憾和多项式样本复杂度的理论保证，并在一个简单的 CMDP 示例中进行实证展示，证明了算法收敛至最优策略，而现有算法则表现出振荡性能和约束违规。

Jan, 2024

安全强化学习中的加速原始 - 对偶策略优化

本文提出了一种用于受限 Markov 决策过程 CMDPs 的策略搜索方法 APDO，并在模拟机器人运动任务上实验，结果表明 APDO 比 CMDPs 的现有方法具有更好的采样效率和更快的收敛速度。

Feb, 2018

自然策略梯度原始 - 对偶方法在约束 MDPs 上的收敛性和样本复杂度

研究如何在满足预期总效用的约束条件下最大化预期总回报，提出了一种新的自然策略梯度原始 - 对偶方法来解决 Constrained Markov 决策过程（constrained MDPs）的折扣无限时域下的最优控制问题，在自然策略梯度上升和投影次梯度下降的影响下更新原始变量和对偶变量。

Jun, 2022