ARLBench：用于强化学习中的超参数优化的灵活高效基准测试

Sep, 2024

ARLBench：用于强化学习中的超参数优化的灵活高效基准测试

ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning

Jannis Becktepe, Julian Dierkes, Carolin Benjamins, Aditya Mohan, David Salinas...

TL;DR本研究解决了强化学习（RL）中超参数调优的效率和比较性问题，现有方法往往只能在单一领域评估，限制了其普适性。提出的ARLBench基准测试平台能够高效评估多种超参数优化方法，并选择代表性任务，以降低所需计算资源，拓宽研究者的参与面。研究结果显示，ARLBench为自动化RL研究提供了灵活高效的基础，并构建了全面的超参数景观数据集。

Abstract

Hyperparameters are a critical factor in reliably training well-performing Reinforcement Learning (RL) agents. Unfortunately, developing and evaluating automated approaches for tuning such hyperparameters is both costly and time-consuming. As a result, such approaches are often only ev

发现论文，激发创造

高效自动化深度强化学习

本文提出了一种基于群体的自动化强化学习（AutoRL）框架，该框架在优化超参数和神经网络结构的同时训练智能体，提高了元优化的采样效率。在MuJoCo基准套件中的TD3算法中，我们将元优化所需的环境交互次数减少了一个数量级。

Sep, 2020

论基于模型的强化学习中超参数优化的重要性

本文研究了基于模型的强化学习中的自动超参数优化方法，实验证明，与人工调参相比，自动HPO能显著提高算法性能，并通过动态地调整多个超参数进一步优化模型性能，实验还揭示了计划视野和学习率等超参数对模型稳定性和奖励的影响。

Feb, 2021

为高效的基于人口的自动强化学习在线调节混合输入超参数

本文介绍了一种新的自动化强化学习算法，使用一种特定的时间变化bandit算法来优化持续性和类别性变量的集成，提高了Procgen基准测试的泛化性能。

Jun, 2021

URLB: 无监督强化学习基准测试

通过提出无监督强化学习基准（URLB）并提供开源代码，研究人员比较了八种无监督强化学习方法及其在十二项任务中的表现，发现当前算法仍存在难以适应新任务的局限性，并提出了未来研究方向。

Oct, 2021

AutoRL超参数景观

该研究提出了一种动态分析强化学习中超参数优化过程中的超参数地形特征的方法，并在实验中得到了支持，进一步说明超参数应该在训练过程中进行动态调整。

Apr, 2023

强化学习中的超参数及其调整方法

本论文旨在提高深度强化学习的可重复性，通过比较多个HPO工具，展示了HPO方法通常具有更高的性能和更低的计算开销，并提出采用从AutoML中建立的最佳实践，以及在广泛的搜索空间内进行原则性的HPO。最终，论文推荐了一套适用于RL社区的最佳实践，以实现更强的实证结果、更少的计算成本、更好的可重复性和更快的进展。

Jun, 2023

RL4CO：组合优化广泛强化学习基准测试

我们介绍了RL4CO，这是一个全面的强化学习用于组合优化（CO）基准测试。我们通过模块化和配置管理等最佳实践来实现高效性和易于修改性，并重点强调可扩展性和广义能力对于各种优化任务的重要性，我们系统地评估了各种模型的样本效率，零射击推广以及数据分布变化的适应性。我们的实验表明，当使用这些新指标进行评估时，一些最新的最先进的方法落后于其前辈，这表明需要更平衡的观点来评估神经网络CO求解器的性能。我们希望RL4CO将鼓励探索解决复杂现实世界任务的新型解决方案，通过将科学与软件工程分离的标准化接口与现有方法进行比较。我们在此https URL上公开发布我们的库。

Jun, 2023

BenchMARL: 多智能体强化学习基准

多智能体强化学习领域面临再现性危机，本文引入BenchMARL作为第一个用于标准化基准测试的训练库，具备高性能和最新技术实现，从而满足多智能体PyTorch用户的需求。

Dec, 2023

Open RL基准:强化学习的全面跟踪实验

Open RL Benchmark是第一个旨在提高和促进领域内研究人员工作的RL基准，它包含了一套完全跟踪的RL实验数据，以及算法特定和系统度量，成功复现了超过25000次运行的RL实验，涵盖了多个RL库和参考实现，并提供简单易用的命令行界面供使用。

Feb, 2024

结合超参数自动优化和奖励形状

深度强化学习在过去几年取得了显著进展，但是即使对于专家来说，找到适当的超参数配置和奖励函数仍然具有挑战性并且性能严重依赖于这些设计选择，因此我们提出了一种方法来同时优化超参数和奖励函数，实验证明综合优化可以显著改善性能，在一些环境中比基准性能好，并在其他环境中取得了竞争性表现，只有少量计算成本的增加。

Jun, 2024