Aug, 2023

非平稳低秩 MDP 的可证明高效算法

PDF
TL;DR本研究在探讨非平稳马尔可夫决策过程下的强化学习问题，针对低秩模型中存在未知表示的情况，提出了参数依赖的优化算法 PORTAL 和参数无关的改进版 Ada-PORTAL，通过样本复杂度进行理论分析并得出上界，证明了在非平稳性不显著时，这两种算法均能够以多项式样本复杂度实现任意小的平均动态次优差距。
reinforcement learningnonstationary mdpsepisodic low-rank mdpsportalada-portal
发现论文，激发创造
  • 非定常线性马尔可夫决策过程中的高效学习

    本研究提出了一种基于权重最小二乘值迭代的非稳态线性马尔可夫决策过程（MDP）最优模型 - free 算法 OPT-WLSVI，使用指数权重平滑地遗忘过去的数据，与先前的研究相比解决了遗忘策略上的技术差距，并分析了与最佳策略竞争的总遗憾是有上限的。

    Oct, 2020

  • 非平稳 MDPs 中的未来优化

    本文介绍了一种名为 Prognosticator 的策略梯度算法，这种算法通过对政策性能的预测来主动搜索一个好的未来策略，并且通过将过去数据进行非均匀重新赋权，使该算法比其他两种在线适应技术更具鲁棒性。

    May, 2020

  • 非平稳风险敏感强化学习：近似最优动态遗憾、自适应检测和分离设计

    研究使用熵风险度量在非平稳有限马尔可夫决策过程中采用风险敏感强化学习，提出了两种基于重启的算法以及自适应检测不稳定性的元算法，并证明了算法的动态后悔下界。该研究为文献中的非平稳风险敏感强化学习提供了首个非渐近理论分析。

    Nov, 2022

  • 非平稳马尔可夫决策过程：基于模型的加强学习最坏情况方法，扩展版

    本研究旨在解决在非恒定随机环境下的鲁棒零 - shot 规划问题，通过引入定义了特定类别的马尔可夫决策过程来进行计算建模，并提出了一种零 - shot 基于模型的风险敏感树搜索算法。

    Apr, 2019

  • 乐观策略优化在非平稳 MDPs 中被证明是高效的

    通过提出一种名为 PROPO 的算法，本文研究了非稳态线性核马尔科夫决策过程中的史诗强化学习，它是第一个可以处理非稳态的可证明有效的策略优化算法。

    Oct, 2021

  • 深度强化学习在生命周期非稳态环境下的应用

    在非稳态环境下，我们提出了一种新的离线强化学习算法，该算法使用潜在变量模型，将当前和过去的经验学习环境的表示，并在此表示下执行离线强化学习，实验结果表明这种方法显著优于不考虑环境变化的方法。

    Jun, 2020

  • 学习具有未知转移和全信息反馈的对抗性低秩马尔可夫决策过程

    通过代表学习、探索和利用等相互交织的方法，本论文以非线性函数逼近和对抗性损失为基础，提出一种 POLO 算法，以实现对低秩马尔可夫决策过程 (Low-rank MDPs) 的次线性遗憾保证。

    Nov, 2023

  • 无先验知识的非平稳强化学习：一种最优黑盒方法

    本文提出一种黑盒化的方法，将某些强化学习算法在（近）平稳环境下的优化遗憾转化为在非平稳环境下的优化动态遗憾，并且不需要事先了解非平稳度。通过把不同的算法插入到这个黑盒中，我们给出一系列的例子，表明该方法不仅可以重构最近通过特殊算法实现的（上下文）多臂赌博机问题，而且还可以显著改进广义线性赌博机问题、周期性马尔科夫决策问题和无限时间马尔科夫决策问题的状态，特别是在大多数情况下，我们的算法可以达到最优动态遗憾。

    Feb, 2021

  • 非稳态环境下的强化学习

    本研究提供一种在非平稳环境下最优决策的强化学习方法，包括改进的变点检测算法和最大化长期折扣奖励的强化学习算法，并在非平稳的随机马尔可夫决策过程、传感器能源管理和交通信号控制等问题中验证了其有效性。

    May, 2019

  • 核化马尔科夫决策过程中的在线学习

    研究了采用非参数高斯过程先验的 UCRL 和后验抽样算法的在线学习方法在未知的连续状态和动作的马尔可夫决策过程中最小化后悔的问题，在频率设置下，通过对核函数诱导的函数的再生核希尔伯特空间的真实 MDP 的转移和奖励函数的成员进行变异，研究了这些算法的后悔边界问题，并突出了转移和奖励函数对学习性能的影响。

    May, 2018