一种具有生成模型的近似最小最大优化的分布式强化学习

Feb, 2024

一种具有生成模型的近似最小最大优化的分布式强化学习

Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model

Mark Rowland, Li Kevin Wenliang, Rémi Munos, Clare Lyle, Yunhao Tang...

TL;DR我们提出了一种新的算法，用于基于模型的分销式强化学习，经证明在逼近具有生成模型的回报分布方面是极小极大最优的（在对数因子上），解决了张等人（2023 年）的一个悬而未决的问题。我们的分析为分销式强化学习的类别方法提供了新的理论结果，并引入了一种新的分销式贝尔曼方程 —— 随机类别 CDF 贝尔曼方程，我们认为它具有独立的重要性。我们还提供了一个实验研究，比较了几种基于模型的分销式强化学习算法，其中对于实践者们有一些要点。

Abstract

We propose a new algorithm for model-based distributional reinforcement learning (RL), and prove that it is minimax-optimal for approximating return distributions with a generative model (up to logarithmic factor

algorithm model-based distributional reinforcement learning return distributions generative model categorical approaches

发现论文，激发创造

分类分布式强化学习的分析

本文为分布式 RL 算法提出了一个分析 CDRL 算法的框架，证明了投影分布 Bellman 计算器在 distributional RL 中的重要性，从根本上联系 CDRL 和 Cramér 距离，并为基于样本的分类分布式 RL 算法提供了收敛性证明。

Feb, 2018

分位数回归的分布式强化学习

本文介绍了一种分布强化学习方法，不仅仅用于估计价值函数的平均值，而是显式地建模返回的分布，通过闭合实验和文献相关得到了一些理论和算法上的结果，最后在 Atari 2600 游戏中，该算法的表现显著优于许多 DQN 的改进方案，包括相关的分布式算法 C51。

Oct, 2017

强化学习中生成模型分布稳健性的研究

研究强化学习中模型鲁棒性以减少实践中的模拟与实际之间的差距，采用分布鲁棒马尔可夫决策过程的框架，在规定的不确定性集合范围内学习最优性能策略，对于不同的不确定性集合，分别用基于模型的方法分析分布鲁棒价值迭代的采样复杂性，结果表明分布鲁棒马尔可夫决策过程并不一定比标准马尔可夫决策过程更易或更难学习，而是依赖于不确定性集合的大小和形状。

May, 2023

通过生成模型在模型为基础的强化学习中突破样本量限制

研究强化学习的样本效率，证明了两种算法的最小最优性，同时实现了目标准确率的最小最优样本复杂度，这是目前首次提供涵盖整个样本范围的最小最优保证。

May, 2020

具有生成模型的基于模型的强化学习是极小 - 极大最优的

本文研究了使用生成模型获取具有 ε- 最优策略的折扣马尔可夫决策过程（MDP）的样本复杂度和计算复杂度，通过最自然的插件方法来构建 MDP 中的转移模型的最大似然估计值，并确定它是否非渐近地在给定固定样本大小时找到质量最优策略的极小 / 极大值。结果发现，任何高精度的插件模型的解法，都能在真正的基本 MDP 中提供一个 ε- 最优策略，这种方法不会将算法绑定到采样程序中。

Jun, 2019

通过矩匹配实现分布式强化学习

本文提出了一种无限制统计学习方法，利用神经网络和最大均值偏差技术来匹配收益分布和 Bellman 目标，适用于分布式 RL 并在 Atari 游戏中获得了优异表现。

Jul, 2020

具有生成模型的 KL 熵正则化强化学习是极小极大值最优的

本文研究了使用生成模型的无模型强化学习的样本复杂性，重点分析了使用 Kullback-Leibler 散度和熵正则化在值和策略更新中的 Geist 等人（2019）和 Vieillard 等人的 Mirror descent value iteration（MDVI），并证明了在 ε 足够小的情况下，该算法几乎是极小值 - 最优的，这是第一个证明了在所考虑的条件下，一个简单的无模型算法（不执行方差缩减）几乎是极小值 - 最优的理论结果。

May, 2022

基于均值嵌入的分布式贝尔曼算子

我们提出了一个新颖的算法框架来进行分布式强化学习，基于学习回报分布的有限维均值嵌入。我们基于此框架推导出了几个新的动态规划和时间差分学习算法，提供了渐近收敛理论，并对算法在一套表格任务上的实证性能进行了研究。此外，我们展示了这种方法可以与深度强化学习简单地结合，获得一个在 Arcade Learning Environment 上改进了基线分布式方法的新的深度强化学习代理。

Dec, 2023

具有线性函数逼近的分布式强化学习

本文提出了一种完全基于 Cramér 距离的分布式算法，该算法可以与线性函数逼近相结合，针对策略评估提供正式保证，并证明了分布式算法与函数逼近的收敛性，并得出 Cramér 分布方法可能比直接逼近值函数表现更差的结论。

Feb, 2019

线性混合 Markov 决策过程的近最小极小化强化学习

本文研究了具有线性函数逼近的增强学习，其中马尔科夫决策过程（MDP）的潜在转移概率核心为线性混合模型，并且学习代理具有单个基础核函数的积分或采样神谕的访问。基于我们提出的新的 Bernstein 型自归一类化不等式，我们提出了一种名为 $ ext {UCRL-VTR}^{+}$ 的新的计算有效算法，以进行具有线性函数逼近的线性混合 MDPs 的无折扣情况。我们还提出了新的算法 $ ext {UCLK}^{+}$，适用于同一类 MDP 的折扣情况，这两种算法分别在最小化最大性上达到了近乎最小值，是线性函数逼近 RL 的第一篇计算有效性，近乎最小值的论文。

Dec, 2020