Jan, 2022

同伦策略镜像下降：策略收敛，隐含正规化和改进样本复杂度

PDF
TL;DR提出了一种新的策略梯度方法 —— 同伦策略镜像下降 (HPMD)，用于解决具有有限状态和动作空间的折扣、无限时间 MDPs，并具有多种计算性质。该方法在全局和局部上均具有收敛性，并且能够在一定条件下证明和表征极限策略。同时，使用该方法可同时获得非渐近最优策略和极大信息熵的极限策略，在不同 Bregman 散度之间进行扩展，以及是一些常见 Bregman 散度的有限时间精确收敛。
homotopic policy mirror descentmdpspolicy gradient methodsconvergencebregman divergences
发现论文，激发创造
  • 策略镜像下降与前瞻

    提出了一种名为 $h$-PMD 的新型 PMD 算法类，它将多步贪心策略改进与 PMD 更新规则相结合，以解决具有 lookahead 深度 $h$ 的折扣无限时间马尔可夫决策过程，并且拓展到线性函数逼近以适应大状态空间。

    Mar, 2024

  • 关于策略梯度方法的收敛速度

    研究无限时间折扣马尔可夫决策问题，并以策略空间的直接参数化研究投影策略梯度方法和一般类别的策略镜像下降方法的收敛速度，包括不需要熵或其他强凸正则化的自然策略梯度方法及投影 Q - 下降方法，并分析近似策略镜像下降方法的收敛速度和样本复杂性估计。

    Jan, 2022

  • 针对强化学习的政策镜面下降算法：线性收敛、新采样复杂度和广义问题类

    本文提出了新的政策镜反射（PMD）方法，用于解决具有强凸性或一般凸性正则化的强化学习（RL）问题，并使用不同的采样方案建立了这些问题的随机对应物。我们证明了 PMD 方法在快速收敛到全局最优解方面的线性速率，提出了计算这些正则化梯度的复杂度，并展示了此正则化的应用性。

    Jan, 2021

  • 带正则化的政策镜像下降算法：具有线性收敛的广义框架

    提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

    May, 2021

  • 政策镜像下降算法固有地探索动作空间

    本文所提出的新算法不依赖于探索策略，通过引入两个新的基于策略的评估算符和对 SPMD 算法的新颖分析，实现了在线策略梯度方法的样本复杂度的近似上界，无需显式探索，可以避免在寻找最优策略时反复执行潜在的高风险动作，具有更强的收敛性能。

    Mar, 2023

  • 块策略镜像下降

    本文提出了一种新的策略梯度方法，即基于块的策略镜像下降（BPMD）方法，用于解决一类带有（强）凸正则化器的强化学习（RL）问题，通过部分更新规则执行已采样状态上的策略更新，从而实现了每次迭代计算代价的降低，并且在分析多种采样方案时达到快速的线性收敛。

    Jan, 2022

  • 随机镜像下降法高效求解 MDPs

    通过基于原始 - 对偶随机镜像下降的统一框架，提供了一种近似求解具有生成模型的无限时域马尔可夫决策过程，同时提出了解决双线性鞍点问题与约束 MDPs 的方法。

    Aug, 2020

  • 镜像下降策略优化

    提出了一种称为镜像下降策略优化（Mirror Descent Policy Optimization，MDPO）的高效强化学习算法，MDPO 是一个迭代更新策略的算法，其目标函数由标准强化学习目标的线性化和一个限制连续策略之间接近的接近项组成，是由 MD 原则推导而来的，同时通过采取多个梯度步骤进行逼近。

    May, 2020

  • 最后迭代一致收敛的政策梯度原始 - 对偶算法用于约束 MDPs

    本文介绍了利用 Lagrangian 方法将约束马尔可夫决策过程转化为有约束鞍点问题的优化方法，提出了两种单时间尺度的基于原始对偶算法的策略算法，可以使策略迭代收敛到一个最优受限策略。其中一个采用了一种正则化策略梯度算法，另一个采用了一种乐观的策略梯度算法。这是约束 MDPs 单时间尺度算法中第一个非渐进策略最终迭代收敛结果。

    Jun, 2023

  • 广义形式博弈中的本地化和自适应镜像下降

    我们研究了如何在带有轨迹反馈的零和不完全信息博弈中学习 ε- 最优策略，通过应用自适应在线镜像下降算法，在信息集中使用逐渐减小的学习率和正则化损失，我们证明了该方法在高概率下能够保证收敛速度为～T^(-1/2)，并且在理论上的最佳学习率和采样策略选择时，对于游戏参数的依赖性接近最优。为了实现这些结果，我们扩展了对 OMD 稳定性的概念，允许随时间变化的凸增量正则化。

    Sep, 2023