通过随机回报分解学习长期奖励再分配

ICLRNov, 2021

通过随机回报分解学习长期奖励再分配

Learning Long-Term Reward Redistribution via Randomized Return Decomposition

Zhizhou Ren, Ruihan Guo, Yuan Zhou, Jian Peng

TL;DR本文提出了一种基于 RRD (Randomized Return Decomposition) 算法的代理奖励机制，从而解决了强化学习中因奖励稀疏和延迟所引起的问题，并在基准任务上获得了显著的改进。

Abstract

Many practical applications of reinforcement learning require agents to learn from sparse and delayed rewards. It challenges the ability of agents to attribute their actions to future outcomes. In this paper, we

reinforcement learning delayed rewards episodic reinforcement learning proxy reward reward redistribution

发现论文，激发创造

通过隐含分配子轨迹奖励差异进行情节回归分解

我们提出了一种名为 Diaster（隐式分配子轨道奖励差异）的新的分解方法，将任何情节奖励分解为两个分割点处的两个子轨迹的学分，并且步骤性代理奖励来自期望的差异。我们在理论和实证上验证了分解后的代理奖励函数可以使策略趋近于最优。实验结果表明，我们的方法在样本效率和性能方面优于先前的最新方法。

Dec, 2023

GRD：强化学习中可解释奖励再分配的生成式方法

本文提出了一种基于因果生成模型的回报分解方法，旨在解决强化学习中延迟奖励问题，并演示了该方法在实验中的良好性能及可解释性。

May, 2023

轨迹 - wise 奖励的可证明高效离线强化学习

本文提出了一种新颖的离线 RL 算法，PARTED，可将轨迹回报分解为逐步代理奖励，具有一定的收敛上界，该算法可以有效地处理观察到的轨迹奖励问题。

Jun, 2022

RUDDER: 延迟奖励的返回分解

提出 RUDDER 方法来解决在马尔可夫决策过程中有延迟奖励的情况下，通过奖励重新分配实现把预期的未来奖励推向零，简化 Q 值的估计，并通过在人工任务上的实验验证其在 Atai 游戏中有明显的提高。

Jun, 2018

轨迹空间平滑的学习引导奖励

该论文介绍了一种使用轨迹空间平滑来学习指导奖励的算法，并阐明了该算法在解决强化学习中长期时序信用分配问题上的优越性。

Oct, 2020

基于噪声分布分解的多智能体分布式强化学习

该论文提出了一种基于分解的多智能体分布式强化学习方法，通过将全局共享的嘈杂奖励近似为高斯混合模型并将其分解为各自分布式本地奖励的组合，从而使每个智能体能够通过分布式强化学习进行局部更新。

Dec, 2023

高水平机器人解释的奖励分解探究

本文提出利用抽象动作和奖励分解技术的可解释学习框架，使得机器人动作的解释更易于人类理解，并通过两个场景的定量和定性分析，展示了该框架的有效性。

Apr, 2023

延迟、组合和部分匿名回报的强化学习

本文研究了具有延迟、组合和部分匿名奖励反馈的无限期望回报马尔可夫决策过程，并提出了名为 DUCRL2 的算法来获得近似最优策略，并证明其达到了类似于 ODS 的遗憾界。

May, 2023

基于轨迹的稀疏奖励策略优化

利用离线演示轨迹的强化学习方法，通过最大均值差异（MMD）计算轨迹距离并将策略优化视为一种受距离限制的优化问题，从离线演示学习到的形状奖励函数实现了与离线演示相匹配的状态 - 动作访问边缘分布，从而在稀疏奖励环境下提供了更快且更高效的在线强化学习方法。

Jan, 2024

使用软自我生成指导学习多样化策略

通过使用多样的过去轨迹作为指导，而不是模仿它们，本文提出了一种方法，使得在线强化学习更快、更高效，即使这些轨迹是次优的或未获得高奖励；此外，引入了一种新的多样性度量来保持团队的多样性和调节探索。在离散和连续控制任务中评估了所提出的算法，与现有的强化学习方法相比，实验结果表明我们提出的算法在多样化探索和避免局部最优方面显著优于基准方法。

Feb, 2024