分类分布式强化学习的分析

Feb, 2018

An Analysis of Categorical Distributional Reinforcement Learning

Mark Rowland, Marc G. Bellemare, Will Dabney, Rémi Munos, Yee Whye Teh

TL;DR本文为分布式 RL 算法提出了一个分析 CDRL 算法的框架，证明了投影分布 Bellman 计算器在 distributional RL 中的重要性，从根本上联系 CDRL 和 Cramér 距离，并为基于样本的分类分布式 RL 算法提供了收敛性证明。

Abstract

distributional approaches to value-based reinforcement learning model the entire distribution of returns, rather than just their expected values, and have recently been shown to yield state-of-the-art empirical p

distributional approaches value-based reinforcement learning cdrl algorithms projected distributional bellman operator cramér distance

发现论文，激发创造

一种具有生成模型的近似最小最大优化的分布式强化学习

我们提出了一种新的算法，用于基于模型的分销式强化学习，经证明在逼近具有生成模型的回报分布方面是极小极大最优的（在对数因子上），解决了张等人（2023 年）的一个悬而未决的问题。我们的分析为分销式强化学习的类别方法提供了新的理论结果，并引入了一种新的分销式贝尔曼方程 —— 随机类别 CDF 贝尔曼方程，我们认为它具有独立的重要性。我们还提供了一个实验研究，比较了几种基于模型的分销式强化学习算法，其中对于实践者们有一些要点。

Feb, 2024

具有线性函数逼近的分布式强化学习

本文提出了一种完全基于 Cramér 距离的分布式算法，该算法可以与线性函数逼近相结合，针对策略评估提供正式保证，并证明了分布式算法与函数逼近的收敛性，并得出 Cramér 分布方法可能比直接逼近值函数表现更差的结论。

Feb, 2019

强化学习的分布视角

本文阐述了价值分配的重要性，提出了一种基于价值分配的学习算法，并通过实证结果证明了该算法的有效性。

Jul, 2017

分位数回归的分布式强化学习

本文介绍了一种分布强化学习方法，不仅仅用于估计价值函数的平均值，而是显式地建模返回的分布，通过闭合实验和文献相关得到了一些理论和算法上的结果，最后在 Atari 2600 游戏中，该算法的表现显著优于许多 DQN 的改进方案，包括相关的分布式算法 C51。

Oct, 2017

预期和分布式强化学习的比较分析

通过对 tabular、线性和非线性逼近设置的分析，研究了分布式 RL 相对于标准 RL 的改进原因。在控制设置中，以经验分析比较了分布式 RL 和标准 RL 的方法，找出了分布式 RL 方法的改进来源。

Jan, 2019

CTD4 - 深度连续分布式算法与卡尔曼多评判员融合的演员 - 评论家代理

本文介绍了一种基于连续动作空间的连续分布式无模型强化学习算法，通过引入多个融合的评论家和 Kalman 融合机制来简化实现分布式强化学习，并验证了其在执行复杂的连续控制任务中具有易于训练和高样本效率的解决方案。

May, 2024

基于正态分布引导的连续控制分布式强化学习

通过使用马尔可夫链中心极限定理，以近似正态分布的形式建模价值分布，分析计算分位数，提出一种基于价值分布的不确定性的策略更新方法，并在 PPO 和 TRPO 算法上进行连续控制任务测试，显示出性能改进。

Aug, 2022

一步分布式强化学习

本文提出了简化的单步分布式强化学习框架（OS-DistrRL），包括环境单步动态引入的随机性。我们证明了提出的框架可以在策略评估和控制方面提供统一的理论，为此我们提出了两种算法，并且进行了几乎肯定的收敛性分析。该方法在各种环境下与分类 DistrRL 进行比较，表现出优越性。

Apr, 2023

分布式训练的好处：强化学习小损失下限

探讨了分布式强化学习的优势，通过小损失边界证明了从非分布式方法中获得的边界不如小成本边界强。提出了在线分布式 RL 算法和基于启发式原则的离线 RL 算法，分别证明了其小损失的 PAC 边界和新颖的鲁棒性质。

May, 2023

分布式强化学习中的统计和样本

本文介绍了利用统计估计回报分布的方法来设计和分析分布式强化学习算法，提出了一种新算法 EDRL，同时介绍了 ER-DQN，将 EDRL 应用在 Atari-57 游戏集上进行了评估。

Feb, 2019