利用生态系统智能体提高强化学习的泛化能力和消除灾难性遗忘

Apr, 2022

利用生态系统智能体提高强化学习的泛化能力和消除灾难性遗忘

Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents

PDF

Olivier Moulin, Vincent Francois-Lavet, Paul Elbers, Mark Hoogendoorn

TL;DR本文提出了一种新颖的方法，利用一种智能体生态系统来适应不同的环境，避免了强化学习在训练环境不同时过度拟合和遗忘之间的两难困境。

Abstract

Adapting a reinforcement learning (RL) agent to an unseen environment is a difficult task due to typical over-fitting on the training environment. RL agents are often capable of solving environments very close to the trained environment, but when environments become substantially diffe

reinforcement learning environment adaptation catastrophic forgetting agent eco-system adaptive power

发现论文，激发创造

通过分叉智能体来提高强化学习的泛化性能

本研究提出了受深度神经网络初始化和迁移学习启发的不同初始化技术，探讨其对生态系统方法的速度和效果的影响。

Dec, 2022

安全关键的强化学习中基于少量环境的泛化

本文研究深度强化学习中有限的训练环境对安全和泛化性能的影响，通过模型平均和使用阻塞分类器等简单方法，可显著降低在网格世界中的灾难情况，但在 CoinRun 环境中会存在一定失败率，然而可以通过系集的不确定性信息来预测是否需要人类干预。

Jul, 2019

无监督环境设计中有效的多样性

利用强化学习的自适应课程和基于新颖距离测量的方法训练代理来适应不同的环境设计，与其他无监督环境设计方法相比，证明了本方法在文献中使用的三个不同基准问题的多样性和有效性。

Jan, 2023

ADAPTER-RL：使用强化学习对任意代理进行自适应

深度强化学习代理人在适应训练分布之外的任务时面临着过拟合、灾难性遗忘和样本效率问题。本文探讨了适配器在强化学习中的应用，提出了一种创新的适应策略，在 nanoRTS 环境中实验，提高了训练效率并改进了基础代理人，同时兼容预训练神经网络和基于规则的代理人，提供了融合人类专业知识的方法。

Nov, 2023

发现最小的强化学习环境

通过元学习神经网络马尔可夫决策过程，我们发现专门的训练环境对于训练强化学习智能体具有潜在的速度提升能力，并且发现上下文为基的赌博机能够实现良好的评估环境转移，从而加速下游应用。

Jun, 2024

量化强化学习的泛化能力

本文研究了深度强化学习中的过拟合问题，并使用程序生成的环境来构建不同的训练和测试集，其中引入了一个名为 CoinRun 的新环境，用作强化学习中泛化的基准。使用 CoinRun，作者发现代理程序会对相当大的训练集过拟合，还展示了更深层次的卷积体系结构以及传统监督学习中的方法，包括 L2 正则化，dropout，数据增强和批标准化等，能够提高泛化能力。

Dec, 2018

开放式任务空间中的人类时间尺度适应

本文介绍了一种训练 RL 代理器的方法，通过使用 meta-reinforcement 学习、基于注意力的内存结构和有效的自动课程表，该代理器可以快速适应开放式的 3D 问题，并具有自适应性。

Jan, 2023

安全关键环境下的强化学习谨慎自适应

提出一种安全关键的适应性强化学习任务设置和解决方案 CARL，通过以多样化环境中的先前经验来评估风险，实现对新领域的谨慎探索并避免灾难状态，为城市驾驶等安全关键环境下的强化学习提供可行性。

Aug, 2020

安全探索的环境特征解耦学习

本文介绍了一种解耦环境特征与任务特定特征的方法，使得代理能够在同一环境下更好的进行任务迁移和新任务风险降低，研究结果表明，此方法能够更安全地利用先前知识。

Aug, 2017

多导师强化学习

通过分布式学习将单智能体 RL 问题分配给多个学习者，并使用本地化规划策略，引入了一种新的基于共情策略的解决方案，并在实验中验证了其在果实收集任务上的效果。

Apr, 2017