高效自动化深度强化学习

ICLRSep, 2020

Sample-Efficient Automated Deep Reinforcement Learning

Jörg K.H. Franke, Gregor Köhler, André Biedenkapp, Frank Hutter

TL;DR本文提出了一种基于群体的自动化强化学习（AutoRL）框架，该框架在优化超参数和神经网络结构的同时训练智能体，提高了元优化的采样效率。在 MuJoCo 基准套件中的 TD3 算法中，我们将元优化所需的环境交互次数减少了一个数量级。

Abstract

Despite significant progress in challenging problems across various domains, applying state-of-the-art deep reinforcement learning (RL) algorithms remains challenging due to their sensitivity to the choice of hyperparameters. This sensitivity can partly be attributed to the non-station

deep reinforcement learning hyperparameter optimization meta-optimization sample-efficient neural architecture

发现论文，激发创造

强化学习中的超参数及其调整方法

本论文旨在提高深度强化学习的可重复性，通过比较多个 HPO 工具，展示了 HPO 方法通常具有更高的性能和更低的计算开销，并提出采用从 AutoML 中建立的最佳实践，以及在广泛的搜索空间内进行原则性的 HPO。最终，论文推荐了一套适用于 RL 社区的最佳实践，以实现更强的实证结果、更少的计算成本、更好的可重复性和更快的进展。

Jun, 2023

为高效的基于人口的自动强化学习在线调节混合输入超参数

本文介绍了一种新的自动化强化学习算法，使用一种特定的时间变化 bandit 算法来优化持续性和类别性变量的集成，提高了 Procgen 基准测试的泛化性能。

Jun, 2021

AutoRL 超参数景观

该研究提出了一种动态分析强化学习中超参数优化过程中的超参数地形特征的方法，并在实验中得到了支持，进一步说明超参数应该在训练过程中进行动态调整。

Apr, 2023

论基于模型的强化学习中超参数优化的重要性

本文研究了基于模型的强化学习中的自动超参数优化方法，实验证明，与人工调参相比，自动 HPO 能显著提高算法性能，并通过动态地调整多个超参数进一步优化模型性能，实验还揭示了计划视野和学习率等超参数对模型稳定性和奖励的影响。

Feb, 2021

数据效率的分层强化学习

本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

May, 2018

贝叶斯生成式基于种群的训练

本文介绍了一种自动化强化学习算法 —— 基于种群训练的方法，并提出了使用基于贝叶斯优化的信任域方法和使用代际方法在单次训练中联合学习架构和超参数的创新解决方案，通过在高度并行的 Brax 物理引擎中验证得到了良好的性能。

Jul, 2022

加速强化学习的人类启发式框架

本文提出了一种基于人类启发的框架以提高采样效率，其中通过逐步提供简单但相似的任务来适应复杂的强化学习任务，并且使用任何转移学习方法来减少样本复杂性而不增加计算复杂性，实验表明该框架能够在优化问题方面表现出良好的性能。

Feb, 2023

大型语言模型代理的超参数优化

利用大型语言模型（LLMs）进行自动超参数优化的 AgentHPO 具有较高效率、简化设置过程、增强可解释性和用户信任度，并在性能上超越了人类试验，同时提供可解释的结果。

Feb, 2024

重新思考基于群体协助的离线策略强化学习

本文深入研究了结合 off-policy reinforcement learning 和 population-based optimization 两种算法的训练方法，在机器人运动任务中的实验结果表明 population data 的使用会影响训练稳定性并降低性能，作者进一步提出了双重回放缓冲设计来解决此问题。

May, 2023

多目标强化学习的超参数优化

对多目标强化学习中超参数优化的挑战进行了初步调查，并提出了一种系统性方法来解决这个问题，该方法能够显著提高多目标强化学习代理的性能，并鉴定了未来的研究机会。

Oct, 2023