Dec, 2023

通过隐含分配子轨迹奖励差异进行情节回归分解

HTML
PDF
TL;DR我们提出了一种名为Diaster（隐式分配子轨道奖励差异）的新的分解方法，将任何情节奖励分解为两个分割点处的两个子轨迹的学分，并且步骤性代理奖励来自期望的差异。我们在理论和实证上验证了分解后的代理奖励函数可以使策略趋近于最优。实验结果表明，我们的方法在样本效率和性能方面优于先前的最新方法。
发现论文，激发创造
  • 学习自我模仿多样化策略

    本文提出了一种基于自我模仿学习的深度强化学习算法，旨在优化在稀疏和情景化奖励设置下的RL算法的效率，并使用Stein变分策略梯度下降来解决自我模仿学习的局限性，并在连续控制MuJoCo运动任务的一个具有挑战性的变体上展示了其有效性。

    May, 2018

  • 通过分集反向更新实现高样本效率的深度强化学习

    本文提出了具有直接价值传播能力的一种新型深度强化学习算法——Episodic Backward Update(EBU)。与传统方法通过经验重放的方式使用均匀随机采样不同，我们的算法通过采样整个回合并将状态值连续传递到前一状态。我们的递归算法实现了高效的计算，允许稀疏和延迟奖励直接通过所采样的全部转移。我们在理论上证明了EBU方法的收敛性，并在确定性和随机化环境下进行了实验。尤其是在Atari 2600领域的49个游戏中，EBU方法仅使用5%和10%的采样，就能实现与DQN相同的平均和中位数人类归一化性能。

    May, 2018

  • 序列建模：针对情节强化学习的时间性信用分配

    本文介绍了一种新的时间信用分配算法，使用深度神经网络将时间步骤分解为每个步骤，并采用 Transformer 语言模型学习轨迹状态的重要性和依赖性，可大幅提高回路强化学习的学习效率。作者在一组具有连续运动控制任务的 MuJoCo 上进行了广泛的实验，并证明了该算法的有效性。

    May, 2019

  • 通过随机回报分解学习长期奖励再分配

    本文提出了一种基于RRD(Randomized Return Decomposition)算法的代理奖励机制，从而解决了强化学习中因奖励稀疏和延迟所引起的问题，并在基准任务上获得了显著的改进。

    Nov, 2021

  • 轨迹-wise 奖励的可证明高效离线强化学习

    本文提出了一种新颖的离线 RL 算法，PARTED，可将轨迹回报分解为逐步代理奖励，具有一定的收敛上界，该算法可以有效地处理观察到的轨迹奖励问题。

    Jun, 2022

  • 强化学习中的探索问题：基于情节访问差异性的奖励机制

    该研究提出一种针对高维度观察和稀疏奖励环境的计算高效和数量化探索方法——基于奖励的情节访问差异度（REVD）。研究表明，REVD可以显著提高增强学习算法的样本效率并优于基准方法。

    Sep, 2022

  • LECO: 用于任务特定内在奖励的可学习分集计数

    本文提出了一种可学习的哈希式时间记数方法LECO，它通过使用向量量化变分自编码器和任务特定调制器解决了任务无关的干扰和状态压缩问题，成功地在复杂的场景中实现了强化学习中的探索和利用的平衡。

    Oct, 2022

  • DEIR:基于判别模型的情节内在奖励的高效稳健探索

    本论文提出一种基于条件互信息的探索奖励方法(DEIR)，实现了从代理探索中产生的新颖性的累积学习。在ProcGen数据集的实验中表现出快速学习和良好的泛化性能。

    Apr, 2023

  • GRD：强化学习中可解释奖励再分配的生成式方法

    本文提出了一种基于因果生成模型的回报分解方法，旨在解决强化学习中延迟奖励问题，并演示了该方法在实验中的良好性能及可解释性。

    May, 2023

  • 具有核求积的策略梯度算法

    通过高斯过程建模，我们选择了一个能够有效计算奖励的样本集，并使用“时序”核积分方法压缩样本信息后，将样本集传递给策略网络进行梯度更新，以提高强化学习中奖励评估的效率。

    Oct, 2023