May, 2019

序列建模：针对情节强化学习的时间性信用分配

PDF
TL;DR本文介绍了一种新的时间信用分配算法，使用深度神经网络将时间步骤分解为每个步骤，并采用 Transformer 语言模型学习轨迹状态的重要性和依赖性，可大幅提高回路强化学习的学习效率。作者在一组具有连续运动控制任务的 MuJoCo 上进行了广泛的实验，并证明了该算法的有效性。
发现论文，激发创造
  • 深度强化学习中的时间信用分配调查

    信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。

    Dec, 2023

  • 序列压缩加速增强学习中的信用分配

    时间差分学习中的时间分配问题是具有挑战性的，本文提出了一种名为 Chunked-TD 的算法，它使用来自模型的预测概率来计算 lambda 回报目标，相对于其他基于模型的解决方案，Chunked-TD 更不容易受到模型的不准确性影响，该算法可以在线实施，解决了某些问题比传统的 TD (lambda) 算法更快。

    May, 2024

  • 长期信用分配的合成回报

    本研究提出一种基于状态关联学习的方法来优化强化学习中时间差分方法的不足，并用其在 Atari 游戏的任务中获得了比现有技术快 25 倍的结果。

    Feb, 2021

  • Hindsight-DICE：深度强化学习的稳定信用分配

    利用重要性抽样比率估计技术改进了策略梯度方法中的信用分配问题，解决了在顺序决策制定问题中缺乏评估反馈的挑战。

    Jul, 2023

  • 轨迹空间平滑的学习引导奖励

    该论文介绍了一种使用轨迹空间平滑来学习指导奖励的算法，并阐明了该算法在解决强化学习中长期时序信用分配问题上的优越性。

    Oct, 2020

  • 通过随机回报分解学习长期奖励再分配

    本文提出了一种基于 RRD (Randomized Return Decomposition) 算法的代理奖励机制，从而解决了强化学习中因奖励稀疏和延迟所引起的问题，并在基准任务上获得了显著的改进。

    Nov, 2021

  • 稀疏关注回溯：通过提醒实现时间信用分配

    为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。

    Sep, 2018

  • STAS: 多智能体强化学习的时空回报分解

    提出了一种名为 Spatial-Temporal Attention with Shapley（STAS）的新方法，该方法可以在时间和空间维度上学习信用分配，在多智能体强化学习中实现有效的空间 - 时间信用分配，优于所有现有的基线。

    Apr, 2023

  • 通过隐含分配子轨迹奖励差异进行情节回归分解

    我们提出了一种名为 Diaster（隐式分配子轨道奖励差异）的新的分解方法，将任何情节奖励分解为两个分割点处的两个子轨迹的学分，并且步骤性代理奖励来自期望的差异。我们在理论和实证上验证了分解后的代理奖励函数可以使策略趋近于最优。实验结果表明，我们的方法在样本效率和性能方面优于先前的最新方法。

    Dec, 2023

  • 无模型的情节控制

    本文探讨海马海马记忆控制应用于深度加强学习，证明该应用比现有的加强学习算法更快地高效解决了一些复杂的连续决策任务。

    Jun, 2016