NeoRL：非情节强化学习的高效探索

Jun, 2024

NeoRL：非情节强化学习的高效探索

NeoRL: Efficient Exploration for Nonepisodic RL

Bhavya Sukhija, Lenart Treven, Florian Dörfler, Stelian Coros, Andreas Krause

TL;DR我们研究了非时序强化学习（RL）的问题，其中系统动态未知，并且 RL 代理需要从单个轨迹中学习，即没有重置。我们提出了 Nonepisodic Optimistic RL（NeoRL），这是一种基于乐观原则面对未知动态的方法。NeoRL 使用经过良好校准的概率模型，并在对未知动态的认知不确定性方面进行乐观规划。在对系统连续性和有界能量的假设下，我们提供了第一个适用于具有高斯过程动态的一般非线性系统的遗憾边界为 O (β_T√(TΓ_T))。我们将 NeoRL 与其他基准在几个深度 RL 环境上进行比较，并经验证明 NeoRL 实现了最佳平均成本，同时产生了最小的遗憾。

Abstract

We study the problem of nonepisodic reinforcement learning (RL) for nonlinear dynamical systems, where the system dynamics are unknown and the RL agent has to learn from a single trajectory, i.e., without resets. We propose Nonepisodic Optimistic RL (neorl), an approach based on the pr

nonepisodic rl nonlinear dynamical systems neorl optimism in the face of uncertainty regret bound

发现论文，激发创造

连续时间模型驱动强化学习中的高效探索

我们介绍了一个基于模型的强化学习算法，使用非线性常微分方程来表示连续时间动力学。我们使用校准良好的概率模型捕捉认识不确定性，并利用乐观原则进行探索。我们的分析表明，在连续时间下，测量选择策略 (MSS) 的重要性显现出来，因为我们不仅需要决定如何进行探索，还要决定何时观察底层系统。当使用高斯过程 (GP) 对常见的 MSS 选择（如等距采样）建模 ODEs 时，我们的后悔界限是次线性的。此外，我们提出了一种自适应的、数据依赖的实际 MSS，当与 GP 动力学相结合时，也能够在明显更少的样本下达到次线性的后悔。在几个应用上，我们展示了连续时间建模相对于离散时间建模的优势，以及我们提出的自适应 MSS 相对于标准基线的优势。

Oct, 2023

非参数通用强化学习

本文提出了在非 Markovian、非 ergodic 且只部分可观察的环境下进行强化学习的问题。作者建立了贝叶斯强化学习代理的负面结果，并证明 Thompson 采样在随机环境中是渐进最优的。此外，作者构建了一个大但可计算的类，展示了基于 Thompson 采样的代理在这个类中收敛于任意未知可计算多智能体环境中的纳什均衡。

Nov, 2016

通过知识危险寻优策略优化实现高效探索

提出了一种基于期望风险的探索算法，通过训练神经网络和优化策略使智能体具有探索未知状态的能力，在深度强化学习中表现出良好的性能。

Feb, 2023

NeoRL: 一种近似于真实环境的离线强化学习基准

本文提出了一个名为 NeoRL 的近实际场景离线强化学习基准，对现有的离线 RL 算法进行了评估，并提出了应该将策略的性能与确定性行为策略版本相比较，从而在现实中实现 RL 技术应用的验证和部署。

Feb, 2021

超越乐观：具有部分可观察奖励的探索

通过提出一种新的探索策略，克服现有方法的局限性，即使奖励不总是可观察到，也能保证收敛到最佳策略。我们还提出了一系列用于在强化学习中进行探索的表格环境（有或没有不可观察的奖励），并展示我们的方法优于现有方法。

Jun, 2024

连续的状态 - 动作空间中的近连续时间强化学习

通过使用泊松时钟模型与连续时间，本研究旨在克服强化学习中离散时间与离散状态的局限性，并且提出了一个算法来应对连续时间下的学习和规划任务，其在近连续时间中实现了阶悔恨度为 $\tilde {\mathcal {O}}(\sqrt {T})$ 的性能。

Sep, 2023

线性动态系统中带快速稳定的强化学习

研究模型基于的强化学习在未知可稳定线性动态系统中的应用，提出一种通过改进探索策略证明基本稳定性的算法，所提出的算法在避免系统崩溃的同时，实现了对环境的快速探索，在多个自适应控制任务中表现优异。

Jul, 2020

时变系统中强化学习的揭秘

探索如何通过一个稳健的框架解决非稳态环境下的强化学习问题，其中该框架通过识别不同的环境、触发探索、将先前环境的知识保留下来以及保护系统性能来训练 RL agent，并且在解决一些系统问题时进行了验证。

Jan, 2022

无先验知识的非平稳强化学习：一种最优黑盒方法

本文提出一种黑盒化的方法，将某些强化学习算法在（近）平稳环境下的优化遗憾转化为在非平稳环境下的优化动态遗憾，并且不需要事先了解非平稳度。通过把不同的算法插入到这个黑盒中，我们给出一系列的例子，表明该方法不仅可以重构最近通过特殊算法实现的（上下文）多臂赌博机问题，而且还可以显著改进广义线性赌博机问题、周期性马尔科夫决策问题和无限时间马尔科夫决策问题的状态，特别是在大多数情况下，我们的算法可以达到最优动态遗憾。

Feb, 2021

通过乐观策略搜索和规划实现高效的基于模型的强化学习

本文提出了一种基于模型的加强学习算法（H-UCRL），通过加强其输入空间并直接使用先验不确定性来提高探索，使得优化策略时也能区分先验不确定性和先验确定性。同时，本文针对 H-UCRL 分析了一般的后悔界，并构建了一个在高斯过程模型下证明的可证明次线性的界，进而表明乐观探索可以轻松地与最先进的强化学习算法以及不同的概率模型相结合。实验表明，本文所提出的算法在已知惩罚的情况下可以显著加速学习，并且在现有的基于模型的加强学习算法中具有广泛的适用性。

Jun, 2020