May, 2023

线性马尔可夫决策过程中乐观近端策略优化的理论分析

HTML
PDF
TL;DR本研究针对增强学习领域中的近端政策优化（PPO）算法，在线性马尔科夫决策过程中引入乐观变体，提出了一种新的多批次更新机制，使用价值和策略类的新覆盖数论算法进行优化和分析，成果在随机线性马尔可夫决策过程和完全信息对抗性线性马尔可夫决策过程中取得了最先进的成果。在对强化学习领域的理解和改进方面具有重要意义。
发现论文，激发创造
  • 近端策略优化算法

    本研究提出了一种新的针对增强学习的策略梯度方法，称为近端策略优化(PPO)，通过与环境的交互采样数据，并使用随机梯度上升优化“替代”目标函数，不同于标准的策略梯度方法，该方法可以实现多个小批量更新周期，实验结果表明PPO在模拟机器人运动和Atari视频游戏玩耍等基准任务上的表现优于其他在线策略梯度方法，同时在样本复杂度、实现简单性和时间效率等方面取得了有利的平衡。

    Jul, 2017

  • 广义线性函数逼近强化学习中的乐观主义

    本论文提出了一种新的基于广义线性函数逼近的回合式强化学习算法，并在乐观闭合假设下分析其性能，证明了其具有更低的复杂度，并且是强化学习中第一个具有统计和计算效率的基于广义线性函数的算法。

    Dec, 2019

  • 策略优化中可证明高效的探索

    本文提出了一种Proximal Policy Optimization算法的乐观变异版本（OPPO），它实现了在带有线性函数拟合、未知转移和对抗奖励的情况下，探索机制下的近似最优解，是第一种实现这一目标的算法。

    Dec, 2019

  • 使用线性函数逼近学习无限时间平均回报马尔可夫决策过程

    开发多种学习用于Markov Decision Processes的无限时间平均奖励设置和线性函数逼近的算法，使用乐观原则和假设MDP具有线性结构，提出具有优化的计算效率的算法，并展开了详细的分析，改进了现有最佳结果。

    Jul, 2020

  • 重新审视近端策略优化中的设计选择

    本文介绍了Proximal Policy Optimization (PPO)算法，探讨了算法的设计和实现，指出了标准实现方式中存在的三个失败模式，提出了替代方案。同时，本文认为我们应该注意算法的设计与模拟环境之间的关系。

    Sep, 2020

  • 针对学习对抗线性混合MDP的接近最优策略优化算法

    本文研究含对手的强化学习中马尔科夫决策过程的学习问题，并提出了一种乐观的策略优化算法POWERS，该算法可以达到近似最小化的最优遗憾，并证明了该算法的上下界。

    Feb, 2021

  • 乐观策略优化在非平稳MDPs中被证明是高效的

    通过提出一种名为PROPO的算法，本文研究了非稳态线性核马尔科夫决策过程中的史诗强化学习，它是第一个可以处理非稳态的可证明有效的策略优化算法。

    Oct, 2021

  • 线性马尔科夫决策过程的近最小值最大化强化学习

    本文介绍了一种基于加权线性回归方案的计算有效算法，用于处理线性马尔可夫决策过程的强化学习问题。该算法实现了近似最小化最优遗憾，具有较好的效率，对参数化转换动态有良好的适应性，可以对研究领域进行更细致的探讨。

    Dec, 2022

  • 可证明高效的无限时间平均回报线性MDP的强化学习

    设计了一个计算有效的算法，通过将平均奖励设定近似为折扣设定，并且在适当调整贴现因子时，通过运行基于乐观值迭代的算法来实现无限时段平均奖励线性马尔可夫决策过程(MDP)的 O(sqrt(T)) 的遗憾。

    May, 2024

  • 超越近端策略优化的边界

    本研究针对传统近端策略优化（PPO）算法的局限性，提出了外部近端策略优化（outer-PPO）框架，通过将更新向量的估计与应用解耦，探索了不同的学习率和动量对算法性能的影响。研究表明，使用非单位学习率和动量可以在多个环境中显著提升算法表现，推动了PPO算法的改进与应用。

    Nov, 2024