上置信强化学习中的探索优化

ICMLApr, 2020

Tightening Exploration in Upper Confidence Reinforcement Learning

Hippolyte Bourel, Odalric-Ambrym Maillard, Mohammad Sadegh Talebi

TL;DRUCRL3 算法是在 UCRL2 算法的基础上引入了专业时间均匀集中不等式和每个状态 - 动作对奖励和转移分布的置信区间等改进，以减少探索来优化分布，理论上改善了 UCRL2 算法，在标准环境下的数值实验也证明了 UCRL3 算法的实用性和有效性。

Abstract

The upper confidence reinforcement learning (UCRL2) algorithm introduced in (Jaksch et al., 2010) is a popular method to perform regret minimization in unknown discrete Markov Decision Processes under the average

reinforcement learning markov decision process regret minimization exploration numerical experiments

发现论文，激发创造

约束上置信强化学习

本文提出了一种名为 C-UCRL 的算法，扩展了上置信度强化学习的范围，解决了在奖励函数、约束和转移核函数均未知的情况下探索未知、潜在不安全的环境问题，并在学习的过程中满足奖励约束条件，具有亚线性后悔度。

Jan, 2020

使用经验伯恩斯坦不等式的近乎最优乐观强化学习

本研究提出了一种基于方差置信区间的简单算法 UCRL-V，能够有效降低在未知有限通信 MDP 中的最优遗憾，并在多种环境下的实验证明 UCRL-V 算法优于现有算法。

May, 2019

自适应无奖励探索

我们提出了一种新的自适应奖励免费探索方法，直接降低最大 MDP 估计误差的上限并证明了 RF-UCRL 算法具有良好的采样复杂性界限，可以看作是 Fiechter 算法的变体，该算法最初是针对另一种目标：最佳策略识别。

Jun, 2020

通过乐观策略搜索和规划实现高效的基于模型的强化学习

本文提出了一种基于模型的加强学习算法（H-UCRL），通过加强其输入空间并直接使用先验不确定性来提高探索，使得优化策略时也能区分先验不确定性和先验确定性。同时，本文针对 H-UCRL 分析了一般的后悔界，并构建了一个在高斯过程模型下证明的可证明次线性的界，进而表明乐观探索可以轻松地与最先进的强化学习算法以及不同的概率模型相结合。实验表明，本文所提出的算法在已知惩罚的情况下可以显著加速学习，并且在现有的基于模型的加强学习算法中具有广泛的适用性。

Jun, 2020

强化学习中的全局自由和实例相关固定函数逼近的遗憾界限

通过提出 UCRL-WVTR 算法，解决强化学习中长期规划问题；该算法实现了无视时间限制和依赖实例的特点，且具有计算效率；算法设计和细致分析基于函数近似，达到了无时间限制、依赖实例和尖锐后悔界限的目标；理论研究得到了大量的实验验证。

Dec, 2023

线性混合 Markov 决策过程的近最小极小化强化学习

本文研究了具有线性函数逼近的增强学习，其中马尔科夫决策过程（MDP）的潜在转移概率核心为线性混合模型，并且学习代理具有单个基础核函数的积分或采样神谕的访问。基于我们提出的新的 Bernstein 型自归一类化不等式，我们提出了一种名为 $ ext {UCRL-VTR}^{+}$ 的新的计算有效算法，以进行具有线性函数逼近的线性混合 MDPs 的无折扣情况。我们还提出了新的算法 $ ext {UCLK}^{+}$，适用于同一类 MDP 的折扣情况，这两种算法分别在最小化最大性上达到了近乎最小值，是线性函数逼近 RL 的第一篇计算有效性，近乎最小值的论文。

Dec, 2020

可证明自我对弈算法用于竞争性强化学习

研究自博弈算法在 Markov 游戏中的应用，提出了 Value Iteration with Upper/Lower Confidence Bound (VI-ULCB) 算法和探索 - 开采算法，并证明了其在策略最佳化中的有效性和高样本利用率。

Feb, 2020

强化学习的乐观主义和库尔巴克 - 莱布勒散度

本文研究有限 MDP 情景下基于模型的强化学习，提出使用 KL 散度实现乐观策略的目标约束，并证明基于 KL-UCRL 算法相较于 UCRL2 算法在经典评估标准中具有显著改善表现，提供了相对应的几何学分析进行说明。

Apr, 2010

使用经验伯恩斯坦不等式对 UCRL2 算法进行改进分析

分析了应用 Empirical Bernstein 不等式的 UCRL2 算法在探索和开发问题上的应用，结果表明在通信 Markov 决策过程中，UCRL2B 算法的损失被限制在 $\widetilde {O}(\sqrt {D\Gamma SAT})$。

Jul, 2020

MADE: 探索性能通过最大化未探索区域的差异

针对在线强化学习中高维稀疏奖励问题，提出一种新的探索方法，通过最大化下一个策略区域探测点的占用偏差，引入自适应正则化项平衡探索和开发，得出一种内在回报函数，可以轻松地与其他现有强化学习算法结合实现探索，实验结果表明，在 MiniGrid 和 DeepMind Control Suite 基准任务中具有明显的样本效率提高，并且优于基于计数的探索策略。

Jun, 2021