Sep, 2023

在线CMDPs中的无模型、后悔优化的最佳策略识别

HTML
PDF
TL;DR本研究针对在线约束马尔可夫决策过程（CMDP）中的最优策略识别问题，提出了一种名为Pruning-Refinement-Identification（PRI）的新算法，该算法基于所发现的CMDP的一个基本结构属性，称为有限随机性，实现了无模型的高概率接近最优策略的学习，并在表格设置下提供了改进的后悔损失和约束违规的保证。
发现论文，激发创造
  • 面向有约束MDPs的无痛政策优化

    研究无限时间、折扣的约束马尔可夫决策过程中的政策优化问题，提出了一种泛化的原始-对偶框架，用于评估算法表现，实例化了此框架来使用硬币投注算法并证明了其结果的目标约束逼近度，以及并非像其他方法一样需要超参数调整，并通过对合成和Cartpole环境的实验证明了其效力和稳健性。

    Apr, 2022

  • CMDP离策略学习的近似最优原始对偶算法

    本研究针对离线数据的约束马尔可夫决策过程问题，引入了单策略集中度系数、提出了DPDL算法，并建立了样本复杂度下界，保证无约束违规。

    Jul, 2022

  • 受限MDP的安全后验采样与约束违规的界限控制

    本研究提出了一种基于后验抽样的强化学习算法Safe PSRL，它能够在不需要安全策略的前提下有效地平衡探索和开发，并通过采用悲观主义的思想仅受到有界的约束违规，从而在理论和实践上得到了良好的表现。

    Jan, 2023

  • 一种考虑长期约束条件的受限MDPs的最佳算法

    该论文研究使用在线学习算法在约束马尔可夫决策过程中收集奖励的同时确保满足某些长期约束条件，提出了一种适用于约束性马尔可夫决策过程的最佳算法，能够管理随机和敌对条件下的奖励以及约束，并提供了理论保证。

    Apr, 2023

  • 有约束马尔可夫决策过程中拉格朗日方法的无撤销后悔界限

    本文提出了一种基于Lagrangian方法的新型模型双重算法OptAug-CMDP，针对标签化的有限路径CMDP，证明了该算法在探索CMDP的K个周期内同时获得了目标和约束违规的期望性能敏感性，且无需进行错误取消。

    Jun, 2023

  • 一种具有均匀PAC保证的限制MDP的策略梯度原始对偶算法

    我们介绍了一种具有均匀概率近似正确性保证的新型策略梯度原始-对偶算法，同时保证了收敛至最优策略、次线性遗憾和多项式样本复杂度的理论保证，并在一个简单的CMDP示例中进行实证展示，证明了算法收敛至最优策略，而现有算法则表现出振荡性能和约束违规。

    Jan, 2024

  • 在受限马尔可夫决策过程中的真正无悔学习

    本文提出了一种基于正则化原始对偶方案的模型为基础的算法，用于学习未知的多约束CMDP，并证明了该算法在没有误差抵消的情况下能够实现亚线性遗憾。

    Feb, 2024

  • 在约束马尔可夫决策过程中实现 $\tilde{O}(1/ε)$ 的样本复杂性

    我们研究了强化学习问题中的约束马尔可夫决策过程（CMDP），并通过优化算法对CMDP问题的样本复杂度提出了改进，实现了优化的问题相关保证。

    Feb, 2024

  • 通过策略优化在受限马尔可夫决策过程中的最优强后悔和违反

    本研究解决了在受限马尔可夫决策过程（CMDPs）中实现亚线性强后悔和强累计约束违反的挑战。提出了一种高效的策略优化算法，能够实现$\widetilde{\mathcal{O}}(\sqrt{T})$的强后悔和违反，证明使用这种方法可以达到最优界限。该工作为线上学习的效率提升提供了新思路。

    Oct, 2024

  • 具有赌博反馈的受限马尔可夫决策过程的双优算法优化

    本文解决了受限马尔可夫决策过程（CMDPs）中仅基于全反馈的最佳双优算法的局限性。我们提出了针对赌博反馈的首个此类算法，能在随机约束情况下实现$\widetilde{\mathcal{O}}(\sqrt{T})$的遗憾和约束违反，同时在对抗约束下实现有效的奖励获取，显著提高了算法效率。

    Oct, 2024