本文提出了 Population Based Training 算法,该算法通过优化神经网络模型和超参数的选择,以最大化模型性能,并自动发现超参数的调整进度表以及模型选择。该算法在深度强化学习领域得到了成功的应用。
Nov, 2017
通过引入更灵活、更具体的超参数适应框架 Generalized Population-Based Training 和综合性的 Pairwise Learning 策略,我们的方法在自适应性和计算效率方面显著优于传统的 Population-Based Training,并且在一系列增强学习基准测试中持续优于传统的 PBT 和其贝叶斯优化变体。
Apr, 2024
本论文提出了 Population-Based Bandits (PB2) 这一算法,采用概率模型来更高效地搜索超参数配置,从而在计算资源有限的情况下发现高性能的超参数配置。在一系列强化学习实验中,证明了 PB2 可以在适度的计算预算下实现高性能。
Feb, 2020
本文提出使用基于人口的训练 (PBT) 方法动态调整超参数并在训练过程中提高模型性能,证明该方法在 9x9 Go 上获得了更高的胜率,在 19x19 Go 上相比于 AlphaZero 的饱和版本获得了更高的胜率 (74% vs 47%)
Mar, 2020
机器学习模型的超参数优化是一个具有多目标的挑战性问题,本研究提出了一种多目标贝叶斯优化算法,通过统一目标规范化和随机化权重在标量化中解决了不同目标尺度的问题,并通过限制目标来提高算法效率,最后通过并行化加速了优化过程。
Sep, 2023
本文介绍了一种自动化强化学习算法 —— 基于种群训练的方法,并提出了使用基于贝叶斯优化的信任域方法和使用代际方法在单次训练中联合学习架构和超参数的创新解决方案,通过在高度并行的 Brax 物理引擎中验证得到了良好的性能。
Jul, 2022
本文介绍了一种名为 MO-DEHB 的多目标优化器,它可用于同时优化复杂不同的性能指标,包括准确性、延迟和算法公平性,并在各种任务中均有良好的表现。
May, 2023
本研究提出了一种基于轨迹的多目标贝叶斯优化算法,通过考虑训练轮次作为附加决策变量,充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明,该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。
May, 2024
我们提出了一种基于贝叶斯优化的新方法,称为 Pareto front-Diverse Batch Multi-Objective BO (PDBO),用于解决多目标优化问题,其中我们可以评估一批输入并发现高质量和多样化的 Pareto 前沿。
Jun, 2024
本研究探讨了多目标优化策略与深度神经网络结合的有效性,通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。