本文介绍了一种名为 PSDRL 的算法，它是第一个真正可扩展的近似后验采样强化学习算法，它结合了基于值函数近似的连续计划算法和对潜在状态空间模型的高效不确定性量化，经过在 Atari 基准测试上进行广泛实验，PSDRL 在样本效率和计算效率上显著优于以前的尝试并在与基于模型的强化学习方法相比具备竞争力。

Apr, 2023

本文研究了连续状态动作空间中强化学习的基于模型的后验抽样（PSRL），提出了第一个后验抽样的遗憾上界，并开发了 MPC–PSRL 算法来选择动作，通过贝叶斯线性回归捕获模型中的不确定性，在基准连续控制任务中实现了最先进的样本效率，并与无模型算法的渐近性能相匹配。

Nov, 2020

该研究提出了一种用于强化学习的后验采样方法（PSRL），通过对一个先验分布进行贝叶斯更新来在已知的一系列时段内实现对 Markov 决策过程的优化，从而达到高效的探索。该算法在时间，状态和行动空间上有明显的性能优势，并具有一定的先验知识编码能力。

Jun, 2013

使用后验采样算法处理强化学习中的延迟反馈问题，通过线性函数逼近在减少样本复杂性的同时实现更好的性能表现，并在未知随机延迟的情况下具有最坏情况遗憾上界。

Oct, 2023

我们提出了一种新的后验抽样方法，其中先验以环境变量之间的（部分）因果图形式给出，该方法称为 C-PSRL，在同时学习更高层次的完整因果图和更低层次的分解动力学参数时，明确了其贝叶斯遗失与先验知识的程度之间的关系。我们在说明性领域进行的数值评估证实了 C-PSRL 在先验信息不足的情况下极大提高了后验抽样的效率，并且性能接近使用完整因果图进行后验抽样。

Oct, 2023

在差分隐私的约束下，我们提出了一种首个能够保护用户偏好的活跃学习的差分隐私决策竞争算法，具有接近最优性能的高效计算能力与遗憾边界。

Mar, 2024

该研究讨论了用于竞争强化学习的后验抽样算法，针对一般函数逼近的背景进行研究。在自我对弈和对抗性学习两个关键设置下，提出了自我对弈和对抗性广义躲避者系数（GEC）作为函数逼近的复杂度度量，捕捉了对马尔科夫博弈中的探索与利用的平衡。基于自我对弈 GEC，提出了基于模型的自我对弈后验抽样方法来控制玩家学习纳什均衡，成功应对了状态的部分可观测性。此外，确定了一系列部分可观测的 MG 模型，适应对手的对抗性策略的 MG 学习。结合对抗性 GEC，提出了基于模型的用于学习对抗性 MG 的后验抽样方法，包括可能部分可观测的情况。进一步给出了所提算法的低后悔界限，它能够与所提出的 GEC 和剧集数量 T 呈次线性缩放。据我们所知，我们首次开发了用于竞争强化学习的通用基于模型的后验抽样算法，可应用于大多数易处理的零和 MG 类别，包括完全可观测和部分可观测 MG，并适用于自我对弈和对抗性学习。

Oct, 2023

我们提出了一个新颖的基于后验采样的离线 RL 算法，该算法在样本效率方面表现出与基于版本空间和经验正则化的算法可比拟的性能，并且具有频率主义的亚优性界限。

Jan, 2024

通过后验采样强化学习实现了比乐观主义算法（如 UCRL2）显着更好的效果，并建立了一个新的贝叶斯期望遗憾界，优于以往任何强化学习算法，该界为 O (H√SAT)。

Jul, 2016

基于后验抽样的新算法在无限时间视野下的有约束马尔科夫决策过程学习中实现了几乎最优的悔恨界限，并在实践中相比现有算法具有优势。

May, 2024