May, 2022

具有生成模型的 KL 熵正则化强化学习是极小极大值最优的

PDF
TL;DR本文研究了使用生成模型的无模型强化学习的样本复杂性，重点分析了使用 Kullback-Leibler 散度和熵正则化在值和策略更新中的 Geist 等人（2019）和 Vieillard 等人的 Mirror descent value iteration（MDVI），并证明了在 ε 足够小的情况下，该算法几乎是极小值 - 最优的，这是第一个证明了在所考虑的条件下，一个简单的无模型算法（不执行方差缩减）几乎是极小值 - 最优的理论结果。
model-free reinforcement learninggenerative modelmirror descent value iterationmdviminimax-optimal
发现论文，激发创造
  • 正则化和方差加权回归在线性 MDPs 中实现极小化最优性：理论和实践

    本文通过线性函数逼近研究了镜像梯度价值迭代的样本复杂性，并提出了最小最大优化的方案，即方差加权最小二乘 MDVI (VWLS-MDVI)，同时提出了 Deep Variance Weighting (DVW) 算法用于基于价值的深度强化学习。

    May, 2023

  • 无模型熵正则化逆强化学习算法的收敛性

    给定一个专家示范数据集，逆向强化学习（IRL）旨在恢复一个专家所优化的奖励。本研究提出了一种无模型算法来解决熵正则化的 IRL 问题。我们采用随机梯度下降算法更新奖励，并采用随机软策略迭代算法更新策略，假设可以访问一个生成模型，我们证明了我们的算法使用 O (1/ε^2) 个马尔可夫决策过程（MDP）样本能够恢复一个 ε- 最优奖励。此外，我们证明在 O (1/ε^4) 个样本情况下，所恢复的奖励对应的最优策略与专家策略在总变差距离上接近 ε。

    Mar, 2024

  • 正则化马尔科夫决策过程理论

    本文提出了一种正则化的马尔可夫决策过程的一般理论，结合正则化贝尔曼算子和 Legendre-Fenchel 变换，可以分析诸如 Trust Region Policy Optimization、Soft Q-learning、Stochastic Actor Critic 或 Dynamic Policy Programming 等经典算法的错误传播分析，并与 Mirror Descent 进行了连接。

    Jan, 2019

  • 具有生成模型的基于模型的强化学习是极小 - 极大最优的

    本文研究了使用生成模型获取具有 ε- 最优策略的折扣马尔可夫决策过程（MDP）的样本复杂度和计算复杂度，通过最自然的插件方法来构建 MDP 中的转移模型的最大似然估计值，并确定它是否非渐近地在给定固定样本大小时找到质量最优策略的极小 / 极大值。结果发现，任何高精度的插件模型的解法，都能在真正的基本 MDP 中提供一个 ε- 最优策略，这种方法不会将算法绑定到采样程序中。

    Jun, 2019

  • 通过生成模型在模型为基础的强化学习中突破样本量限制

    研究强化学习的样本效率，证明了两种算法的最小最优性，同时实现了目标准确率的最小最优样本复杂度，这是目前首次提供涵盖整个样本范围的最小最优保证。

    May, 2020

  • 熵正则化马尔科夫决策过程的统一视角

    提出一种针对 Markov 决策过程的熵正则化平均回报强化学习的一般性框架，通过使用条件熵来对联合状态 - 动作分布进行正则化，将一些先进的熵 - 正则化强化学习算法形式化为 Mirror Descent 或 Dual Averaging 的近似变体，并在简单的强化学习实验中展示了各种正则化技术对学习性能的影响。

    May, 2017

  • 带正则化的政策镜像下降算法：具有线性收敛的广义框架

    提出了一种广义的策略镜像下降算法 (GPMD) 以解决正则化强化学习问题，具有线性收敛特性，支持一般类别的凸正则化器，并在数值实验中得到验证。

    May, 2021

  • 强化学习的乐观主义和库尔巴克 - 莱布勒散度

    本文研究有限 MDP 情景下基于模型的强化学习，提出使用 KL 散度实现乐观策略的目标约束，并证明基于 KL-UCRL 算法相较于 UCRL2 算法在经典评估标准中具有显著改善表现，提供了相对应的几何学分析进行说明。

    Apr, 2010

  • 强化学习中生成模型分布稳健性的研究

    研究强化学习中模型鲁棒性以减少实践中的模拟与实际之间的差距，采用分布鲁棒马尔可夫决策过程的框架，在规定的不确定性集合范围内学习最优性能策略，对于不同的不确定性集合，分别用基于模型的方法分析分布鲁棒价值迭代的采样复杂性，结果表明分布鲁棒马尔可夫决策过程并不一定比标准马尔可夫决策过程更易或更难学习，而是依赖于不确定性集合的大小和形状。

    May, 2023

  • 一种具有生成模型的近似最小最大优化的分布式强化学习

    我们提出了一种新的算法，用于基于模型的分销式强化学习，经证明在逼近具有生成模型的回报分布方面是极小极大最优的（在对数因子上），解决了张等人（2023 年）的一个悬而未决的问题。我们的分析为分销式强化学习的类别方法提供了新的理论结果，并引入了一种新的分销式贝尔曼方程 —— 随机类别 CDF 贝尔曼方程，我们认为它具有独立的重要性。我们还提供了一个实验研究，比较了几种基于模型的分销式强化学习算法，其中对于实践者们有一些要点。

    Feb, 2024