Oct, 2024

通过策略优化在受限马尔可夫决策过程中的最优强后悔和违反

HTML
PDF
TL;DR本研究解决了在受限马尔可夫决策过程（CMDPs）中实现亚线性强后悔和强累计约束违反的挑战。提出了一种高效的策略优化算法，能够实现$\widetilde{\mathcal{O}}(\sqrt{T})$的强后悔和违反，证明使用这种方法可以达到最优界限。该工作为线上学习的效率提升提供了新思路。
发现论文，激发创造
  • 基于上置信度的对偶强化学习用于带对抗损失的CMDP

    本文关注于强化学习中保障安全的关键问题，提出一种新的基于置信上限的原始对偶算法，更好地解决了环境参数未知的情况下，限制条件作用下的 regret 分析。

    Mar, 2020

  • 面向有约束MDPs的无痛政策优化

    研究无限时间、折扣的约束马尔可夫决策过程中的政策优化问题，提出了一种泛化的原始-对偶框架，用于评估算法表现，实例化了此框架来使用硬币投注算法并证明了其结果的目标约束逼近度，以及并非像其他方法一样需要超参数调整，并通过对合成和Cartpole环境的实验证明了其效力和稳健性。

    Apr, 2022

  • 受限MDP的安全后验采样与约束违规的界限控制

    本研究提出了一种基于后验抽样的强化学习算法Safe PSRL，它能够在不需要安全策略的前提下有效地平衡探索和开发，并通过采用悲观主义的思想仅受到有界的约束违规，从而在理论和实践上得到了良好的表现。

    Jan, 2023

  • 有约束马尔可夫决策过程中拉格朗日方法的无撤销后悔界限

    本文提出了一种基于Lagrangian方法的新型模型双重算法OptAug-CMDP，针对标签化的有限路径CMDP，证明了该算法在探索CMDP的K个周期内同时获得了目标和约束违规的期望性能敏感性，且无需进行错误取消。

    Jun, 2023

  • 在线CMDPs中的无模型、后悔优化的最佳策略识别

    本研究针对在线约束马尔可夫决策过程（CMDP）中的最优策略识别问题，提出了一种名为Pruning-Refinement-Identification（PRI）的新算法，该算法基于所发现的CMDP的一个基本结构属性，称为有限随机性，实现了无模型的高概率接近最优策略的学习，并在表格设置下提供了改进的后悔损失和约束违规的保证。

    Sep, 2023

  • 面向具有悔恨的对抗性线性马尔可夫决策过程的最优化

    在线强化学习是研究的主题之一, 尤其在线性Markov决策过程中使用了对抗性损失和强盗反馈, 提出了两个算法以改善后悔性能。

    Oct, 2023

  • 在受限马尔可夫决策过程中的真正无悔学习

    本文提出了一种基于正则化原始对偶方案的模型为基础的算法，用于学习未知的多约束CMDP，并证明了该算法在没有误差抵消的情况下能够实现亚线性遗憾。

    Feb, 2024

  • 学习具有随机硬约束的对抗式马尔可夫决策过程

    我们研究带有对抗性损失和随机硬约束的约束马尔可夫决策过程（CMDP）中的在线学习问题。我们设计了两种不同的情景，第一种是在一般CMDP中实现次线性遗憾和累积正约束违规的算法。第二种情景下，我们假设策略存在且对学习者已知，并设计了一个算法，确保次线性遗憾的同时，高概率满足所有回合的约束。据我们所知，我们的工作是第一个研究同时涉及对抗性损失和硬约束的CMDP。这些算法可处理一般非平稳环境中的要求，要求比现有算法处理的要严格得多，从而能够在更广范围的实际应用中采用，包括自动驾驶、在线广告和推荐系统。

    Mar, 2024

  • 通过策略优化缩小对抗性和随机MDP之间的差距

    通过使用APO-MVP算法和基于动态规划和黑盒在线线性优化策略的策略优化，本文在对手强 Markov 决策过程中提出了一个新的追悔边界概念，并且通过估计优势函数以避免典型的占有度量工具，实现了对状态和动作空间大小的优化，使得算法易于实现。

    Jul, 2024

  • 具有赌博反馈的受限马尔可夫决策过程的双优算法优化

    本文解决了受限马尔可夫决策过程（CMDPs）中仅基于全反馈的最佳双优算法的局限性。我们提出了针对赌博反馈的首个此类算法，能在随机约束情况下实现$\widetilde{\mathcal{O}}(\sqrt{T})$的遗憾和约束违反，同时在对抗约束下实现有效的奖励获取，显著提高了算法效率。

    Oct, 2024