Oct, 2018

继承者不确定性：时间差分学习中的探索与不确定性

PDF
TL;DR本文研究了强化学习中平衡探索和利用的后验采样技术，提出了一种简单易实现的基于随机化价值函数的算法 Successor Uncertainties（SU），在 tabular 和 Atari 游戏测试中取得了较好的效果。
发现论文，激发创造
  • 后验采样在强化学习中为何优于乐观法？

    通过后验采样强化学习实现了比乐观主义算法（如 UCRL2）显着更好的效果，并建立了一个新的贝叶斯期望遗憾界，优于以往任何强化学习算法，该界为 O (H√SAT)。

    Jul, 2016

  • 具有延迟反馈的后验抽样用于线性函数逼近的强化学习

    使用后验采样算法处理强化学习中的延迟反馈问题，通过线性函数逼近在减少样本复杂性的同时实现更好的性能表现，并在未知随机延迟的情况下具有最坏情况遗憾上界。

    Oct, 2023

  • 通过后验抽样实现（更）高效的强化学习

    该研究提出了一种用于强化学习的后验采样方法（PSRL），通过对一个先验分布进行贝叶斯更新来在已知的一系列时段内实现对 Markov 决策过程的优化，从而达到高效的探索。该算法在时间，状态和行动空间上有明显的性能优势，并具有一定的先验知识编码能力。

    Jun, 2013

  • 深度继承强化学习

    该论文介绍了 DSR，即在一个端到端的深度强化学习框架中，将 SR 进行了推广，通过奖励预测和继任者映射的分解提高了对远程奖励变化的灵敏度，并能够从随机策略下训练的继任者地图中提取瓶颈状态（子目标） 。然后在两个不同的环境中展示了该方法的有效性，包括简单的网格世界领域和 Doom 游戏引擎。

    Jun, 2016

  • 基于混合模型的继承特征强化学习在任务间的不确定性迁移

    使用混合模型驱动的继任特征算法和不确定性感知探索的方法，能够在具有不同转换动力学或 / 和奖励函数的任务之间实现高效的知识传输，并且在决策时间上所需的计算量较少。通过与最近的继任特征算法和模型驱动方法进行对比，结果表明我们的算法能够在不同的转换动力学中泛化知识，使用明显更少的样本学习下游任务，并且优于现有方法。

    Oct, 2023

  • 关于样本高效的离线强化学习：数据多样性，后验采样和更多

    我们提出了一个新颖的基于后验采样的离线 RL 算法，该算法在样本效率方面表现出与基于版本空间和经验正则化的算法可比拟的性能，并且具有频率主义的亚优性界限。

    Jan, 2024

  • 先验依赖的函数逼近后验采样强化学习分析

    利用线性混合马尔可夫决策过程模拟的函数逼近方法，本研究推进了强化学习中的随机探索。我们建立了关于函数逼近的依赖先验的贝叶斯遗憾界限，并对后验抽样强化学习的贝叶斯遗憾分析进行了改进，提出了一个上界为 O (d√(H^3 T log T)) 的方法，其中 d 表示转移核的维度，H 表示规划时间，T 表示总交互次数。相对于线性混合马尔可夫决策过程的先前基准 (Osband 和 Van Roy，2014) 优化了 O (√log T) 因子，我们的方法采用了面向值的模型学习视角，引入解耦和方案和方差减少技术，超越了传统分析对置信区间和集中不等式的依赖，更有效地规范贝叶斯遗憾界限。

    Mar, 2024

  • 使用通用价值函数逼近进行强化学习中的随机探索

    提出了一种无模型强化学习算法，由于乐观原则和最小二乘价值迭代算法的启示，通过简单地使用谨慎选择的独立同分布的标量噪声扰乱训练数据来推动探索，在估计乐观值函数的同时引入了一种乐观的奖励采样过程，并证明了当数值函数可由函数类 \mathcal {F} 表示时，该算法实现了最坏情况下的遗憾度量边界，并在已知的难度探索任务上进行了实证评估。

    Jun, 2021

  • 使用继承表示实现基于计数的探索

    介绍了基于继承代表（successor representation）的强化学习的简单方法，利用其转移概念的范数作为奖励来激励探索，以及用隐式计数实现高效完备探索，并在 Atari 2600 游戏中实现了最先进的性能。

    Jul, 2018

  • 深度强化学习的后验抽样

    本文介绍了一种名为 PSDRL 的算法，它是第一个真正可扩展的近似后验采样强化学习算法，它结合了基于值函数近似的连续计划算法和对潜在状态空间模型的高效不确定性量化，经过在 Atari 基准测试上进行广泛实验，PSDRL 在样本效率和计算效率上显著优于以前的尝试并在与基于模型的强化学习方法相比具备竞争力。

    Apr, 2023