ICMLMay, 2020

非平稳 MDPs 中的未来优化

PDF
TL;DR本文介绍了一种名为 Prognosticator 的策略梯度算法，这种算法通过对政策性能的预测来主动搜索一个好的未来策略，并且通过将过去数据进行非均匀重新赋权，使该算法比其他两种在线适应技术更具鲁棒性。
reinforcement learningpolicy gradient algorithmnon-stationarityprognosticatoronline adaptation techniques
发现论文，激发创造
  • 乐观策略优化在非平稳 MDPs 中被证明是高效的

    通过提出一种名为 PROPO 的算法，本文研究了非稳态线性核马尔科夫决策过程中的史诗强化学习，它是第一个可以处理非稳态的可证明有效的策略优化算法。

    Oct, 2021

  • 针对非稳态 MDPs 的安全策略改进

    为了确保在具有高风险影响的平稳变化的非稳态决策问题上的安全性和高置信度，本文提出了一种方法，该方法通过模型自由强化学习与时间序列分析的综合，将一种称为 Seldonian algorithm 的安全算法扩展。

    Oct, 2020

  • 非稳态环境下的强化学习

    本研究提供一种在非平稳环境下最优决策的强化学习方法，包括改进的变点检测算法和最大化长期折扣奖励的强化学习算法，并在非平稳的随机马尔可夫决策过程、传感器能源管理和交通信号控制等问题中验证了其有效性。

    May, 2019

  • 一种针对非平稳环境下多目标强化学习的稳定策略引导算法

    提出了一种能够在非稳态环境中以在线方式稳健演化一个凸覆盖策略集的新型多目标强化学习算法，并在稳态和非稳态环境中与现有算法进行比较，结果表明该算法在非稳态环境中显著优于现有算法，并在稳态环境中达到可比较的结果。

    Aug, 2023

  • 非定常线性马尔可夫决策过程中的高效学习

    本研究提出了一种基于权重最小二乘值迭代的非稳态线性马尔可夫决策过程（MDP）最优模型 - free 算法 OPT-WLSVI，使用指数权重平滑地遗忘过去的数据，与先前的研究相比解决了遗忘策略上的技术差距，并分析了与最佳策略竞争的总遗憾是有上限的。

    Oct, 2020

  • 非平稳低秩 MDP 的可证明高效算法

    本研究在探讨非平稳马尔可夫决策过程下的强化学习问题，针对低秩模型中存在未知表示的情况，提出了参数依赖的优化算法 PORTAL 和参数无关的改进版 Ada-PORTAL，通过样本复杂度进行理论分析并得出上界，证明了在非平稳性不显著时，这两种算法均能够以多项式样本复杂度实现任意小的平均动态次优差距。

    Aug, 2023

  • 深度强化学习在生命周期非稳态环境下的应用

    在非稳态环境下，我们提出了一种新的离线强化学习算法，该算法使用潜在变量模型，将当前和过去的经验学习环境的表示，并在此表示下执行离线强化学习，实验结果表明这种方法显著优于不考虑环境变化的方法。

    Jun, 2020

  • 通过无悔动力学求解健壮 MDP

    通过解决最小最大迭代优化问题的简单框架，我们利用在线非凸学习和改进策略梯度方法的技术，提出了一种算法，该算法在 $O (1/T^{1/2})$ 的时间内能最大化带着鲁棒性的价值函数。

    May, 2023

  • 具有非稳态马尔可夫策略的延迟环境下的决策行为

    该研究提出了一种针对 MDP 的决策学习与规划框架，其中决策制定者执行的动作有 $m$ 步的延迟，研究表明使用非恒定的马尔科夫策略，可以在非常大的延迟下实现最大化奖励，并介绍了一种无需状态增强即可解决延迟执行任务的 Q-learning 风格模型。

    Jan, 2021

  • 非平稳环境中的策略优化动态遗憾

    本文提出了两种针对具有对抗性全信息奖励反馈和未知固定转移核的情境 MDPs 的无模型策略优化算法 POWER 和 POWER ++，并建立了它们的动态后悔保证。

    Jun, 2020