Feb, 2024

高维空间中普通贝叶斯优化表现出色

PDF
TL;DR高维问题一直被认为是贝叶斯优化算法的致命软肋。本文通过识别导致标准贝叶斯优化在高维任务中性能不佳的退化情况，并通过减少模型复杂性的角度探究现有算法如何应对这些退化情况。此外，我们提出了一种增强对标准贝叶斯优化算法中先验假设的修改方法，通过与维度进行简单缩放的高斯过程长度尺度先验，揭示了在高维情况下标准贝叶斯优化比以往认为的表现要好得多，明显优于多个常见的真实高维任务的现有最先进算法。
high-dimensional problemsbayesian optimization algorithmscurse of dimensionalitydegeneraciesmodel complexity
发现论文，激发创造
  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 高维输出的贝叶斯优化

    该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

    Jun, 2021

  • 高维贝叶斯优化的标准高斯过程

    对高维优化问题进行系统研究发现标准高斯过程贝叶斯优化（BO）在很多合成和真实世界基准问题中表现出色，在高维优化上经常比专门设计的现有 BO 方法更出色，同时具备适应各种目标函数结构的鲁棒性，单纯使用最大似然估计即可获得有前景的优化性能，不需要复杂的马尔可夫链蒙特卡洛采样，因此建议重新评估和深入研究标准 BO 在解决高维问题方面的潜力。

    Feb, 2024

  • 高维贝叶斯优化使用 Dropout

    使用 dropout 策略在高维贝叶斯优化中优化每次迭代的变量集。对遗憾进行了理论上的界定，并在训练级联分类器和优化合金组合这两个现实应用中证明其有效性。

    Feb, 2018

  • 高维贝叶斯优化之监督降维

    本文提出了一种基于 Sliced Inverse Regression（SIR）的高维贝叶斯优化算法，能够通过降维方法学习对象函数的内在子结构，并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明，该算法在高维贝叶斯优化中具有优越性。

    Jul, 2019

  • 高维贝叶斯优化与大规模约束的应用 -- 飞机弹性调整

    使用高维贝叶斯优化和降维方法结合解决在航弹性优化中出现的高维问题，为具有大规模约束的问题提出了一种新颖的方法。实验证明该方法能够纳入大规模约束。

    Dec, 2023

  • 大批量神经多目标贝叶斯优化

    本文提出了一种基于贝叶斯神经网络的优化框架，专门针对数据密集型环境中多目标优化的局限性进行了优化，实现了对大量数据的有效处理和复杂问题的建模，并展示了其在航空动力学和彩色印刷两个领域的应用和有效性。

    Jun, 2023

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 机器学习算法的实用贝叶斯优化

    本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

    Jun, 2012

  • 高维贝叶斯优化离散序列的调查与基准

    通过统一的框架和标准化的黑盒函数，针对化学和生物学的实际应用领域，该论文研究了贝叶斯优化的高维优化方法和技术难点，并提供了易于拓展的软件库，以方便实践者更好地应用于离散优化问题。

    Jun, 2024