可证明且实用：通过 Langevin Monte Carlo 实现强化学习中的高效探索

May, 2023

可证明且实用：通过 Langevin Monte Carlo 实现强化学习中的高效探索

Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo

Haque Ishfaq, Qingfeng Lan, Pan Xu, A. Rupam Mahmood, Doina Precup...

TL;DR本文提出了一种基于 Thompson 采样的可扩展和有效的强化学习策略，通过使用 Langevin Monte Carlo 从其后验分布中直接抽取 Q 函数，该方法只需进行嘈杂的梯度下降更新即可学习 Q 函数的精确后验分布，在深度 RL 中易于部署，取得了优于或类似于 Atari57 套件上现有深度 RL 算法的结果。

Abstract

We present a scalable and effective exploration strategy based on Thompson sampling for reinforcement learning (RL). One of the key shortcomings of existing thompson sampling algorithms is the need to perform a G

reinforcement learning thompson sampling posterior distribution markov chain monte carlo deep rl

发现论文，激发创造

基于 Langevin Monte Carlo 的上下文多臂赌博机算法

探究 Thompson 抽样算法在上下文强化学习中的效率，提出了一种使用 Langevin Monte Carlo 和 Markov Chain Monte Carlo 方法直接从后验分布进行采样的算法，避免了高维情况下对后验分布的高斯近似，证明了其具有与传统 Thompson 抽样算法相同的次线性变化速度，实验证明了直接采样方法在性能和计算效率上的优势。

Jun, 2022

一种可证明有效的无模型后验采样方法，用于情节强化学习

本文提出了一种新的模型无关后验采样的公式，适用于更广泛的周期性强化学习问题，并通过新颖的证明技术，展示了在适当条件下，我们的后验采样方法的最坏后果可以与基于优化的方法的最优结果相匹配，尤其是在线性 MDP 设置中，我们的算法产生的遗憾与现有基于后验采样的探索算法相比，随着维度线性增长而非二次依赖。

Aug, 2022

深度强化学习的快速价值追踪

我们的研究利用卡尔曼滤波范式引入了一种称为 Langevinized Kalman Temporal-Difference (LKTD) 的新颖且可扩展的采样算法，用于深度强化学习。通过 LKTD 算法，我们有效地从深度神经网络参数的后验分布中抽样，而且我们证明了在温和条件下，LKTD 算法生成的后验样本收敛到一个稳定分布。这种收敛不仅使我们能够量化价值函数和模型参数相关的不确定性，而且在训练阶段中允许我们监控这些不确定性。LKTD 算法为更加强健和适应性的强化学习方法打开了道路。

Mar, 2024

加速近似汤普森抽样与欠阻尼 Langevin 蒙特卡洛

使用欠阻尼 Langevin Monte Carlo 的近似 Thompson 抽样策略，改善了高维问题中需求高准确性时的可扩展性问题，并通过合成实验在高维赌博问题中经验验证了该算法的可扩展性和鲁棒性。

Jan, 2024

BBQ-Networks: 面向任务型对话系统的深度强化学习高效探索

该研究提出了一种新算法，通过 Thompson 采样和 Bayes-by-Backprop 神经网络，可以显著提高深度 Q 学习代理在对话系统中的探索效率，并表明混合已成功经历的 episode 的回放池可以使 Q 学习成为可能。

Aug, 2016

基于近似采样的强化学习更高效的随机探索

这篇论文提出了一个算法框架，结合了不同的近似抽样方法和最近提出的 Feel-Good Thompson Sampling (FGTS) 方法，在线性 MDPs 中应用时，我们的遗憾分析得到了关于维度的最好依赖关系，超过了现有的随机算法。在一些需要进行深度探索的任务中，我们提出的将 FGTS 和近似抽样相结合的算法与其他强基准相比表现显著地更好。在 Atari 57 套件的几个具有挑战性的游戏中，我们的算法在性能上要么优于，要么与深度 RL 文献中的其他强基准相当。

Jun, 2024

任务导向对话系统中深度强化学习的高效探索

提出了一种新的探索算法，基于 Bayes-by-Backprop 神经网络和重放缓冲区，可以大大提高深度 Q 学习在对话系统中的效率并比传统的探索策略学习得更快。

Nov, 2017

用 Thompson 取样算法学习参数化的马尔可夫决策过程

本研究提出了一种基于 Thompson 取样的强化学习算法，针对参数化的 Markov 决策过程，通过贝叶斯方法进行训练，在一般参数空间的先验分布中可以获得频率挽回上限。结果显示，选择次优动作的时间段的数量随时间对数成比例增长，这取决于参数空间的 Kullback-Leibler 几何信息复杂度。

Jun, 2014

通过 Langevin 动力学与对抗训练实现强化学习的鲁棒性

本研究基于随机梯度 langevin 动力学引入了一种采样视角来训练机器人学习代理，构建了一种新型、可扩展的两个玩家机器人学习算法，并在多个 MuJoCo 环境中证明了该算法相对于传统机器人学习算法更具有一般化能力。

Feb, 2020

近似 Thompson 抽样用于学习线性二次调节器的 $O (\sqrt {T})$ 遗憾

我们提出了一种近似的 Thompson 采样算法，用于学习具有改进贝叶斯后悔界限为 O (√T) 的线性二次调节器（LQR）。我们的方法利用了经过细致设计的 Langevin 动力学和简单的激励机制。我们展示了激励信号随时间增长引起预条件器的最小特征值增长，从而加速近似后验采样过程。此外，我们识别出由我们的算法生成的近似后验的非平凡的浓度特性。这些特性使我们能够在不依赖于文献中常用的对参数集的不切实际的限制假设的情况下，束缚系统状态的矩，并获得 O (√T) 的后悔界限。

May, 2024