Apr, 2024

强化学习中的超参数优化的泛化基于人口的训练

PDF
TL;DR通过引入更灵活、更具体的超参数适应框架 Generalized Population-Based Training 和综合性的 Pairwise Learning 策略，我们的方法在自适应性和计算效率方面显著优于传统的 Population-Based Training，并且在一系列增强学习基准测试中持续优于传统的 PBT 和其贝叶斯优化变体。
hyperparameter optimizationreinforcement learningpopulation-based traininggeneralized population-based trainingpairwise learning
发现论文，激发创造
  • 贝叶斯生成式基于种群的训练

    本文介绍了一种自动化强化学习算法 —— 基于种群训练的方法，并提出了使用基于贝叶斯优化的信任域方法和使用代际方法在单次训练中联合学习架构和超参数的创新解决方案，通过在高度并行的 Brax 物理引擎中验证得到了良好的性能。

    Jul, 2022

  • 基于种群的赌博机在线超参数优化的可证明有效性

    本论文提出了 Population-Based Bandits (PB2) 这一算法，采用概率模型来更高效地搜索超参数配置，从而在计算资源有限的情况下发现高性能的超参数配置。在一系列强化学习实验中，证明了 PB2 可以在适度的计算预算下实现高性能。

    Feb, 2020

  • 神经网络的种群式训练

    本文提出了 Population Based Training 算法，该算法通过优化神经网络模型和超参数的选择，以最大化模型性能，并自动发现超参数的调整进度表以及模型选择。该算法在深度强化学习领域得到了成功的应用。

    Nov, 2017

  • 多目标种群训练

    本文提出了一种基于多目标协同训练的超参数优化算法 MO-PBT，实验结果表明 MO-PBT 在多个多目标超参数优化问题上表现优异，胜过其他算法。

    Jun, 2023

  • 使用基于人口的训练加速和改进 AlphaZero

    本文提出使用基于人口的训练 (PBT) 方法动态调整超参数并在训练过程中提高模型性能，证明该方法在 9x9 Go 上获得了更高的胜率，在 19x19 Go 上相比于 AlphaZero 的饱和版本获得了更高的胜率 (74% vs 47%)

    Mar, 2020

  • 为高效的基于人口的自动强化学习在线调节混合输入超参数

    本文介绍了一种新的自动化强化学习算法，使用一种特定的时间变化 bandit 算法来优化持续性和类别性变量的集成，提高了 Procgen 基准测试的泛化性能。

    Jun, 2021

  • 单机快速基于种群的强化学习

    通过编译和矢量化的技术，我们验证了集群训练可以在单台机器上进行，同时大于单个智能体训练，以及它可以被用于超参数调整。

    Jun, 2022

  • 基于人群的组合优化强化学习

    通过引入基于 Population 的强化学习思想，由于其在最大化性能时尚未预定义特定的多样性，证明了该方法产生一组互补的策略，并在三个著名的 NP-hard 问题上获得最新的强化学习结果：旅行推销员问题 (TSP)，分配式车辆路径规划问题 (CVRP) 和 01 背包问题 (KP)。在特定的 TSP 问题上，其超过先前的最先进技术，将最优性差距分为 5 个，同时缩短了推理时间超过一个数量级。

    Oct, 2022

  • 零样本人工智能协同的最大熵基于人口训练

    本文提出了一种通过最大熵种群训练（MEP）来训练 RL 系统的方法，以促进代理系统间的多样性和个体代理自身的多样性，并通过优先采样对资深代理进行训练。在 Overcooked 游戏环境中，与自我游戏 PPO（SP）等方法进行比较，我们证明了 MEP 方法的有效性。

    Dec, 2021

  • 重新思考基于群体协助的离线策略强化学习

    本文深入研究了结合 off-policy reinforcement learning 和 population-based optimization 两种算法的训练方法，在机器人运动任务中的实验结果表明 population data 的使用会影响训练稳定性并降低性能，作者进一步提出了双重回放缓冲设计来解决此问题。

    May, 2023