Nov, 2023

具有策略先验的任意时间竞争强化学习

HTML
PDF
TL;DR这篇论文研究了任何时候有竞争性的马尔可夫决策过程（A-CMDP）的问题。现有的约束马尔可夫决策过程（CMDP）的研究旨在优化预期奖励，同时约束于随机动力学下的预期成本，但是在特定情况下成本仍然可能过高。相反，A-CMDP的目标是在任何一轮任何剧集中的策略先验下，通过优化预期奖励来保证有限的成本。我们提出了一种新算法，称为Anytime-Competitive Reinforcement Learning（ACRL），它可以证明保证了任何时候的成本约束。后悔分析显示该策略在任何时候的成本要求下渐近匹配了最优奖励。对碳智能计算应用的实验证明了ACRL的奖励性能和成本约束保证。
发现论文，激发创造
  • 非平稳MDPs中的未来优化

    本文介绍了一种名为Prognosticator的策略梯度算法，这种算法通过对政策性能的预测来主动搜索一个好的未来策略，并且通过将过去数据进行非均匀重新赋权，使该算法比其他两种在线适应技术更具鲁棒性。

    May, 2020

  • 非静态马尔科夫决策过程的强化学习：（更多）乐观的祝福

    本研究使用不打折扣的强化学习方法，针对马尔可夫决策过程中的漂移非稳定性问题，提出了Sliding Window Upper-Confidence bound for Reinforcement Learning with Confidence Widening算法和Bandit-over-Reinforcement Learning算法，并证明了它们的动态后悔限制及其在参数不确定性情况下的适应性。

    Jun, 2020

  • 半无限约束马尔可夫决策过程与高效强化学习

    本文提出了一种名为半无限约束马尔可夫决策过程（SICMDP）的模型，设计了两种基于模型和策略优化的强化学习算法（SI-CRL和SI-CPO），并在理论上进行了分析，以解决具有连续约束的决策任务。

    Apr, 2023

  • 有保证的受限强化学习中高效的探索：后验抽样即可

    基于后验抽样的算法在约束马尔可夫决策过程（CMDP）的无限时间不折扣设置中提供了近最优的遗憾界限，同时在实证上比现有算法更具优势。

    Sep, 2023

  • 有时间限制的强化学习

    我们引入并研究了具有任意时间限制的受限马尔可夫决策过程（cMDPs）。我们提出了一种固定参数可处理的方法，将具有任意时间限制的cMDPs转化为无约束的MDPs。我们设计出了适用于大表cMDPs的计划和学习算法，并设计了近似算法，可以高效地计算或学习一个近似可行策略。

    Nov, 2023

  • 一种具有均匀PAC保证的限制MDP的策略梯度原始对偶算法

    我们介绍了一种具有均匀概率近似正确性保证的新型策略梯度原始-对偶算法，同时保证了收敛至最优策略、次线性遗憾和多项式样本复杂度的理论保证，并在一个简单的CMDP示例中进行实证展示，证明了算法收敛至最优策略，而现有算法则表现出振荡性能和约束违规。

    Jan, 2024

  • 通过原始-对偶策略梯度算法学习无限时域平均奖励受限马尔可夫决策过程的通用参数化策略

    本文研究了无限时段平均回报约束马尔可夫决策过程（CMDP）。在我们的知识范围内，该工作是第一个深入探讨了具有一般策略参数化的平均回报CMDP的遗憾和约束违反分析。为了解决这个挑战，我们提出了一种基于原始对偶的策略梯度算法，能够在确保低遗憾全局最优策略的同时，灵活处理约束。特别地，我们证明了我们提出的算法实现了$\tilde{\mathcal{O}}({T}^{3/4})$的目标遗憾和$\tilde{\mathcal{O}}({T}^{3/4})$的约束违反界限。

    Feb, 2024

  • 具有随机停止时间的约束马尔可夫决策过程的安全增强学习

    我们提出了一种基于在线强化学习算法的约束马尔可夫决策过程，其中包含一个安全约束。通过线性规划算法，我们演示了学习到的策略在很高的置信度下是安全的。我们还提出了计算安全基准策略的方法，并演示了该算法的有效性。同时，我们通过定义状态空间的子集，称为代理集，实现了高效的探索。

    Mar, 2024

  • 平均奖励约束下有效的强化学习探索：通过后验抽样实现接近最优的遗憾

    基于后验抽样的新算法在无限时间视野下的有约束马尔科夫决策过程学习中实现了几乎最优的悔恨界限，并在实践中相比现有算法具有优势。

    May, 2024

  • 随时约束的多智能体强化学习

    本研究针对多智能体环境中的随时约束问题，提出了随时约束均衡（ACE）的解决方案概念。研究提供了一个全面的随时约束马尔可夫游戏理论，包括可行策略的计算特征、ACE的固定参数可计算算法，以及近似计算可行ACE的多项式时间算法，显示出在最坏情况分析下，计算可行策略的近似保证是可能的最优解。

    Oct, 2024