应对生涯强化学习中非稳态性的反应性探索

Jul, 2022

应对生涯强化学习中非稳态性的反应性探索

Reactive Exploration to Cope with Non-Stationarity in Lifelong Reinforcement Learning

Christian Steinparz, Thomas Schmied, Fabian Paischer, Marius-Constantin Dinu, Vihang Patil...

TL;DR该论文探讨了在终身学习的情境下如何跟踪和适应持续的领域转变，为此提出了反应式探索方法，并基于实验证明，策略梯度方法是适合于终身学习的一种学习方法，能更快地适应分布变化。

Abstract

In lifelong learning, an agent learns throughout its entire life without resets, in a constantly changing environment, as we humans do. Consequently, lifelong learning comes with a plethora of research problems s

lifelong learning continual domain shifts exploration strategies policy-gradient methods reactive exploration

发现论文，激发创造

深度强化学习在生命周期非稳态环境下的应用

在非稳态环境下，我们提出了一种新的离线强化学习算法，该算法使用潜在变量模型，将当前和过去的经验学习环境的表示，并在此表示下执行离线强化学习，实验结果表明这种方法显著优于不考虑环境变化的方法。

Jun, 2020

时变系统中强化学习的揭秘

探索如何通过一个稳健的框架解决非稳态环境下的强化学习问题，其中该框架通过识别不同的环境、触发探索、将先前环境的知识保留下来以及保护系统性能来训练 RL agent，并且在解决一些系统问题时进行了验证。

Jan, 2022

迈向持续强化学习：综述与展望

本文综述了关于非不变 RL（Lifelong 或非平稳 RL）的不同公式和方法的文献，提出了连续 RL 公式的分类法，并提供了连续 RL 方法的分类。此外，我们讨论了评估连续 RL 代理的重要度量和开放性问题，并强调了这方面的研究前景。

Dec, 2020

针对未知情况的调整：重新审视终身强化学习的评估策略

本文研究了终身强化学习中的关键问题，通过新的调优和评估方法，在只有百分之一的实验数据用于超参数调整的情况下，发现 DQN 和 Soft Actor Critic 方法表现不佳，而一些保持网络可塑性的算法措施表现出色，并且网络不断学习的能力与百分之一调优下的性能关联密切。

Apr, 2024

非稳态环境下的强化学习

本研究提供一种在非平稳环境下最优决策的强化学习方法，包括改进的变点检测算法和最大化长期折扣奖励的强化学习算法，并在非平稳的随机马尔可夫决策过程、传感器能源管理和交通信号控制等问题中验证了其有效性。

May, 2019

L2Explorer: 一种终身强化学习评估环境

介绍了一种基于 Lifelong Learning Explorer（L2Explorer）框架的连续 RL 开发和评估方法，其提供了一种开放世界环境下的未来评估方法的框架，并严格评估终身学习方法。

Mar, 2022

非稳态环境中的广泛计划与学习的认知性探索

该论文介绍了一种在使用关系表示表示的非平稳随机环境中进行持续规划和模型学习的新方法。

Feb, 2024

基于技能空间规划的无需重置的终身学习

论文提出了一种基于高阶技能抽象规划的无剧本生涯强化学习框架 LiSP，该框架使用内在奖励进行技能学习并使用学到的动力学模型进行规划，能够在不断变化的非稳态非剧本的环境中取得成功，甚至有助于从离线数据中发现技能，减少与现实世界的交互。

Dec, 2020

3D 非静态环境下的持续强化学习

本文提出了一种基于 ViZDoom 的复杂三维非稳态任务的 CRLMaze Continual 学习策略，可以在非稳态的环境下进行端到端无模型学习，并与其他基线方法相比表现出竞争力。

May, 2019

多智能体深度强化学习中的非稳态问题处理

本文综述了多智能体深度强化学习中的非稳态问题，包括集中式训练、对手策略表示学习、元学习、通信和去中心化学习等方法，并列举了未来研究的可能方向。

Jun, 2019