Aug, 2019

BOAH: 多保真贝叶斯优化和超参数分析工具套件

PDF
TL;DR本文介绍了 Python 编写的综合工具套件，用于有效的多保真贝叶斯优化和其运行分析，以解决黑盒贝叶斯优化中因每个模型的训练和评估需要数小时而导致的问题。
hyperparameter optimizationneural architecture searchbayesian optimizationhyperbandmulti-fidelity
发现论文，激发创造
  • BOHB：强大且高效的大规模超参数优化

    本文提出了一种结合贝叶斯优化和基于 Bandit 的方法的实用超参数优化方法，该方法在各种类型的问题上都优于贝叶斯优化和 Hyperband，并且具有强大的任何时候性能和快速收敛到最佳配置的优势，对高维度的玩具函数、支持向量机、前馈神经网络、贝叶斯神经网络、深度强化学习和卷积神经网络都适用。

    Jul, 2018

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • FlexHB: 一个更高效和灵活的超参数优化框架

    通过将 Bayesian Optimization 与 FlexHB 相结合，并重新设计 Successive Halving 的 early stopping 框架，提高了多信度 BO 搜索最优配置的效率，获得了超过其他方法的速度提升。

    Feb, 2024

  • PABO: 伪代理多目标贝叶斯超参数优化用于高效神经加速器设计

    本文提出一种新的基于伪代理的多目标深度神经网络和硬件超参数优化方法，主要为 memristive 交叉栅极加速器设计高精度且具有硬件效率的 DNN，使用了基于贝叶斯优化的方法实现在保证硬件成本效益的前提下提高 DNN 性能，得到的 PABO 优化结果在准确性和计算速度上都优于现有最先进的方法。

    Jun, 2019

  • 大数据集机器学习超参数的快速贝叶斯优化

    提出了一种基于生成模型的贝叶斯优化方法，通过学习验证误差关于训练集大小的函数，并在小的子集上进行预先配置的探索，从而加速超参数优化，并且可以自动平衡全局最优解的信息增益与计算成本。实验结果表明，该方法比现有的另外两种贝叶斯优化方法和一种最近提出的 Hyperband 策略都要更快地找到高质量解。

    May, 2016

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

    Aug, 2019

  • 学习过程中增加范围：嵌套子空间中的自适应贝叶斯优化

    提出 BAxUS 方法，通过应用一种新颖的嵌套随机子空间方法来适应高维度贝叶斯优化问题，确保高性能并消除失败风险，同时得到了比现有方法更好的结果。

    Apr, 2023

  • 基于贝叶斯优化的可持续工艺系统灵活高效设计框架

    贝叶斯优化是一种强大的技术，可用于优化噪声大、昂贵难评估的黑箱函数，在科学、工程、经济、制造等领域具有广泛的实际应用。本文概述了贝叶斯优化在下一代过程系统设计中的最新进展、挑战和机遇，并介绍了如何利用高级贝叶斯优化方法更有效地解决这些应用中的重要问题。最后，我们总结了提高概率模型质量、选择下一个样本点的内部优化过程以及利用问题结构提高样本效率方面的挑战和机会。

    Jan, 2024

  • 高维贝叶斯优化：基于有重叠分组加性模型

    本文提出了一种新的基于加性模型的贝叶斯优化算法，可以高效地处理存在重叠子集的高维函数优化问题，并通过图上的信息传递算法优化其采集函数，同时提出了通过 Gibbs 抽样学习其结构的算法，实验证明该方法在合成数据和真实数据上都具有良好效果。

    Feb, 2018