多样性投影集合的分布式强化学习

Jun, 2023

多样性投影集合的分布式强化学习

Diverse Projection Ensembles for Distributional Reinforcement Learning

Moritz A. Zanger, Wendelin Böhmer, Matthijs T. J. Spaan

TL;DR本研究探讨了如何通过集合及多样性实现可靠的不确定性估计和深度探索，即通过几个不同的分布投影和表现形式的集合所组成的 “分布整体学习”（distributional ensemble）来实现优秀的性能。

Abstract

In contrast to classical reinforcement learning, distributional reinforcement learning algorithms aim to learn the distribution of returns rather than their expected value. Since the nature of the return distribution is generally unknown a priori or arbitrarily complex, a common approa

reinforcement learning distributional reinforcement learning neural networks ensemble exploration

发现论文，激发创造

乐观陷阱：通过随机化风险准则的分布式强化学习

通过随机风险准则选择动作来避免一面倒的风险倾向的一种新型的分布式强化学习算法，证明了该方法的收敛性和最优性，并实证显示该方法在包括 Atari 55 游戏在内的各种环境下优于其他现有的基于分布的算法。

Oct, 2023

分位数回归的分布式强化学习

本文介绍了一种分布强化学习方法，不仅仅用于估计价值函数的平均值，而是显式地建模返回的分布，通过闭合实验和文献相关得到了一些理论和算法上的结果，最后在 Atari 2600 游戏中，该算法的表现显著优于许多 DQN 的改进方案，包括相关的分布式算法 C51。

Oct, 2017

预期和分布式强化学习的比较分析

通过对 tabular、线性和非线性逼近设置的分析，研究了分布式 RL 相对于标准 RL 的改进原因。在控制设置中，以经验分析比较了分布式 RL 和标准 RL 的方法，找出了分布式 RL 方法的改进来源。

Jan, 2019

分布式强化学习的估计与推断

本研究从统计效率的角度研究了分布式强化学习，重点研究了分布式策略评估问题，通过使用确定等价方法构建了一个估计器以解决样本效率问题，并研究了估计器的渐近行为。

Sep, 2023

SEERL: 高效率样本集成强化学习

本文提出了一种新的训练和模型选择框架，用于模型无关的强化学习算法，使用单次训练的策略集合。这些策略通过定向扰动模型参数在一定时间间隔内进行学习，选择一个足够多样化的策略集合对于得到一个好的集成模型来说是必需的。该框架具有显著的样本效率和低计算成本，且在 Atari 2600 和 Mujoco 中表现优异。

Jan, 2020

基于均值嵌入的分布式贝尔曼算子

我们提出了一个新颖的算法框架来进行分布式强化学习，基于学习回报分布的有限维均值嵌入。我们基于此框架推导出了几个新的动态规划和时间差分学习算法，提供了渐近收敛理论，并对算法在一套表格任务上的实证性能进行了研究。此外，我们展示了这种方法可以与深度强化学习简单地结合，获得一个在 Arcade Learning Environment 上改进了基线分布式方法的新的深度强化学习代理。

Dec, 2023

分布式强化学习中的风险视角探析

通过风险规划方法提高 DMIX 算法的性能，在多代理环境下进行了全面的实验，此方法可用于探索 Distributional Reinforcement Learning 中风险水平和乐观行为。

Jun, 2022

分布式强化学习中的统计和样本

本文介绍了利用统计估计回报分布的方法来设计和分析分布式强化学习算法，提出了一种新算法 EDRL，同时介绍了 ER-DQN，将 EDRL 应用在 Atari-57 游戏集上进行了评估。

Feb, 2019

强化学习的分布视角

本文阐述了价值分配的重要性，提出了一种基于价值分配的学习算法，并通过实证结果证明了该算法的有效性。

Jul, 2017

深度强化学习的多元先验

在强化学习中，代理人旨在最大化累积奖励，面临利用现有知识获取奖励或寻求潜在更高奖励的开发与探索困境。我们引入了一种创新方法，通过精心设计的先验 NNs，在强化学习的初始值函数中引入最大多样性，以解决常规集成型不确定性估计的问题。相比于随机先验方法，我们的方法在解决经典控制问题和一般性探索任务中表现出优越的性能，显著提高样本效率。

Oct, 2023