Jan, 2021

针对强化学习的政策镜面下降算法：线性收敛、新采样复杂度和广义问题类

HTML
PDF
TL;DR本文提出了新的政策镜反射（PMD）方法，用于解决具有强凸性或一般凸性正则化的强化学习（RL）问题，并使用不同的采样方案建立了这些问题的随机对应物。我们证明了PMD方法在快速收敛到全局最优解方面的线性速率，提出了计算这些正则化梯度的复杂度，并展示了此正则化的应用性。
发现论文，激发创造
  • 稀疏 Q 学习和镜像下降

    该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同Bregman散度的抛物线梯度强化学习法比常规TD学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个l1正则化Bellman方程的稀疏不动点时具有显著的计算优势。

    Oct, 2012

  • 镜像下降策略优化

    提出了一种称为镜像下降策略优化（Mirror Descent Policy Optimization，MDPO）的高效强化学习算法，MDPO是一个迭代更新策略的算法，其目标函数由标准强化学习目标的线性化和一个限制连续策略之间接近的接近项组成，是由MD原则推导而来的，同时通过采取多个梯度步骤进行逼近。

    May, 2020

  • 带正则化的政策镜像下降算法：具有线性收敛的广义框架

    提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

    May, 2021

  • 普通策略梯度的一般样本复杂性分析

    本文使用最近为非凸优化分析SGD开发的工具，获得了vanilla policy gradient（PG）的收敛性和样本复杂性保证。

    Jul, 2021

  • 镜像学习: 策略优化的统一框架

    本研究提出了一种名为Mirror Learning的新理论框架，为包括TRPO和PPO在内的大类算法提供理论保证，这说明现代深度强化学习算法的实际表现是其理论特性的直接结果，而不是先前提到的近似类比，从而使我们自由地探索新颖的、理论上可行的RL算法，这是一个迄今未开发的奇妙世界。

    Jan, 2022

  • 块策略镜像下降

    本文提出了一种新的策略梯度方法，即基于块的策略镜像下降（BPMD）方法，用于解决一类带有（强）凸正则化器的强化学习（RL）问题，通过部分更新规则执行已采样状态上的策略更新，从而实现了每次迭代计算代价的降低，并且在分析多种采样方案时达到快速的线性收敛。

    Jan, 2022

  • 关于策略梯度方法的收敛速度

    研究无限时间折扣马尔可夫决策问题，并以策略空间的直接参数化研究投影策略梯度方法和一般类别的策略镜像下降方法的收敛速度，包括不需要熵或其他强凸正则化的自然策略梯度方法及投影Q-下降方法，并分析近似策略镜像下降方法的收敛速度和样本复杂性估计。

    Jan, 2022

  • 同伦策略镜像下降：策略收敛，隐含正规化和改进样本复杂度

    提出了一种新的策略梯度方法——同伦策略镜像下降(HPMD)，用于解决具有有限状态和动作空间的折扣、无限时间MDPs，并具有多种计算性质。该方法在全局和局部上均具有收敛性，并且能够在一定条件下证明和表征极限策略。同时，使用该方法可同时获得非渐近最优策略和极大信息熵的极限策略，在不同Bregman散度之间进行扩展，以及是一些常见Bregman散度的有限时间精确收敛。

    Jan, 2022

  • 具有生成模型的KL熵正则化强化学习是极小极大值最优的

    本文研究了使用生成模型的无模型强化学习的样本复杂性，重点分析了使用Kullback-Leibler散度和熵正则化在值和策略更新中的Geist等人（2019）和Vieillard等人的Mirror descent value iteration（MDVI），并证明了在ε足够小的情况下，该算法几乎是极小值-最优的，这是第一个证明了在所考虑的条件下，一个简单的无模型算法（不执行方差缩减）几乎是极小值-最优的理论结果。

    May, 2022

  • 策略镜像下降与前瞻

    提出了一种名为$h$-PMD的新型PMD算法类，它将多步贪心策略改进与PMD更新规则相结合，以解决具有lookahead深度$h$的折扣无限时间马尔可夫决策过程，并且拓展到线性函数逼近以适应大状态空间。

    Mar, 2024