Sep, 2023

基于低预算的黑盒优化算法在 BBOB 和 OpenAI Gym 上的评估

PDF
TL;DR机器学习和黑盒优化之间的相互影响性及算法性能的比较研究：基于机器学习和黑盒优化的算法在有限预算下具有较好性能，但随着预算增加，其他算法家族通常表现更好。
发现论文，激发创造
  • 贝叶斯优化在机器学习超参数调节方面优于随机搜索：对 2020 年黑匣子优化挑战的分析

    本文介绍了 NeurIPS 2020 的黑盒优化挑战赛结果和洞见，强调了评估无导数优化器以调整机器学习模型的超参数的重要性，并在真实数据集上基于多个标准机器学习模型的调整性能进行了排名。

    Apr, 2021

  • B2Opt: 学习用小预算优化黑盒优化

    本文聚焦于改进高维昂贵黑匣子优化的学习优化框架，并提出一种基于廉价代理函数和进化算法机制的新框架 B2Opt，相比黑匣子优化基准测试，B2Opt 能够实现 3 到百万倍的性能提升。

    Apr, 2023

  • OpenBox: 通用黑盒优化服务

    本研究介绍了 OpenBox，一种开源的黑盒优化服务，可提高用户在自动化机器学习、工程、物理和实验设计等领域的效率和性能，并采用模块化设计和算法普适并行化等方法来优化 BBO 组件。实验证明，OpenBox 相对于现有系统具有更高的效能和效率。

    Jun, 2021

  • 增强的上下文黑盒优化

    RIBBO 是一种从离线数据中强化学习 Black-Box Optimization 算法的方法，采用表达能力强的序列模型学习多个行为算法和任务产生的优化历史，通过集成 regret-to-go tokens 来自动生成满足用户期望遗憾值的查询点，从而在各种问题上实现了普遍良好的实证性能。

    Feb, 2024

  • Diff-BBO：基于扩散的黑盒优化的逆向建模

    基于扩散模型的逆向建模用于黑盒优化问题，通过设计新颖的获取函数（UaE），它利用条件扩散模型的不确定性在设计空间中生成样本，实现了在线黑盒优化，并在实验中证明了其优越性能。

    Jun, 2024

  • MA-BBOB: 在无噪声数值黑盒优化环境中评估自动机器学习方法的 BBOB 函数的多个仿射组合

    本文提出了一种扩展的基于多个仿射组合的 MA-BBOB 生成器方法，以帮助填充实例空间，并探究其对算法选择价值的影响，而 MA-BBOB 建立在公开的 IOHprofiler 平台上，可实现标准实验程序，提供性能分析和可视化，并与 (MA-) BBOB 函数的数据集进行比较。

    Jun, 2023

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • MALIBO: 元学习用于无似然贝叶斯优化

    提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

    Jul, 2023

  • 费用受限的贝叶斯优化的非近视方法

    本文提出了将成本约束的 BO 建模为约束马尔科夫决策过程 (CMDP) 的方法，并开发了一个高效的滚动估计算法，以同时考虑成本和未来迭代次数。作者在超参数优化和传感器集选择中验证了他们的方法。

    Jun, 2021