Dec, 2023

深度强化学习中的时间信用分配调查

HTML
PDF
TL;DR信用分配问题是强化学习中一个长期存在的挑战，通过对深度强化学习中的时间性信用分配进行研究，提出了一种统一的信用形式，并分析了现有方法在处理延迟效应、位置换位和行动影响不足方面的挑战，还介绍了评估信用分配方法的协议，并建议诊断不同信用分配方法困难来源的方法。该综述为新进入者和研究人员提供了领域概述，为学者在信用分配问题上开展新研究提供了连贯的视角，并提出了未来研究的潜在方向。
发现论文，激发创造
  • 通过传输价值优化长时间尺度下的代理行为

    本文提出一种新的强化学习范式，利用记忆回忆特定事件来赋予过去行动以荣誉，解决了过去人工智能方法无法解决的问题，将为神经科学、心理学和行为经济学等领域提供计算机模型的机制解释。

    Oct, 2018

  • 序列建模：针对情节强化学习的时间性信用分配

    本文介绍了一种新的时间信用分配算法，使用深度神经网络将时间步骤分解为每个步骤，并采用 Transformer 语言模型学习轨迹状态的重要性和依赖性，可大幅提高回路强化学习的学习效率。作者在一组具有连续运动控制任务的 MuJoCo 上进行了广泛的实验，并证明了该算法的有效性。

    May, 2019

  • 事后信用分配

    本研究提出了一种基于过去决策优劣的后验学习方式，解决了强化学习中的信用分配问题，并通过实证分析展示其成功地解决了一系列信用分配难题。

    Dec, 2019

  • 适应性时间顺序学分分配的配对权重

    本文旨在解决强化学习中最基本的关于时间信用分配问题，通过使用基于状态时的换算系数或基于更一般的由状态，所需格外步骤和奖励时间之间的函数关系的静态/动态配重方法，在学习RL策略的过程中使用元梯度方法学习这些分配函数从而提高性能。

    Feb, 2021

  • 长期信用分配的合成回报

    本研究提出一种基于状态关联学习的方法来优化强化学习中时间差分方法的不足，并用其在Atari游戏的任务中获得了比现有技术快25倍的结果。

    Feb, 2021

  • 选择性信用分配

    通过对选择性赋权的 TD 方法进行统一描述和理解，介绍了如何将赋权应用于基于值的学习和规划算法中，以调节预测和控制问题中的后向信用分配。在这个空间中，我们还确定了一些现有的在线学习算法，它们可以作为特例进行选择性分配信用，并增加了一些可以反事实分配信用的算法，使得信用可以从轨迹和策略之外进行分配。

    Feb, 2022

  • 透过反事实贡献分析的长期信用分配问题

    本文介绍了一种基于Counterfactual Contribution Analysis（COCOA）的信用分配算法，在衡量行动对未来奖励的影响时，通过量化一个反事实的查询来实现精确的信用分配，即“如果智能体采取另一个行动，它仍然能达到这个奖励吗？”，在评估长期信用分配能力的一套问题上进行了实验，并通过与HCA和常见基线比较表明，模型信用分配算法的改进性能由于较低的偏差和方差，为实现样本高效强化学习开辟了新的道路。

    Jun, 2023

  • Hindsight-DICE：深度强化学习的稳定信用分配

    利用重要性抽样比率估计技术改进了策略梯度方法中的信用分配问题，解决了在顺序决策制定问题中缺乏评估反馈的挑战。

    Jul, 2023

  • 使用从稀疏奖励演示中学到的平滑引导奖励的策略优化

    通过使用离线演示算法，提出了一种名为Policy Optimization with Smooth Guidance (POSG)的简单高效的在线深度强化学习算法，该算法能够解决奖励反馈稀疏性的问题，并在稀疏奖励环境中实现可靠有效的长期信用分配以及有效的探索。

    Dec, 2023

  • 序列压缩加速增强学习中的信用分配

    时间差分学习中的时间分配问题是具有挑战性的，本文提出了一种名为Chunked-TD的算法，它使用来自模型的预测概率来计算lambda回报目标，相对于其他基于模型的解决方案，Chunked-TD更不容易受到模型的不准确性影响，该算法可以在线实施，解决了某些问题比传统的TD(lambda)算法更快。

    May, 2024