Jun, 2024

SCORE：打破贝叶斯优化在高维空间中的局限的一种一维参数重新参数化技术

PDF
TL;DR本文提出了一种名为 SCORE 的快速可扩展方法，通过一维重新参数化技巧打破 Bayesian 优化在高维场景下的维度诅咒，从而在不需要高性能计算资源的情况下成功寻找到针插到大海中的优化函数的全局最小值，并拟合实际数据。
bayesian optimizationsurrogate modelcomputational costscurse of dimensionalityscore
发现论文，激发创造
  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 通过一维子空间在高维空间中进行自适应和安全的贝叶斯优化

    提出了一种名为 LineBO 的算法，将高维度的贝叶斯优化问题限制为一系列一维子问题，实现了全局收敛和快速局部速率，并在应用于多个合成基准测试和真实应用中获得了良好的结果。

    Feb, 2019

  • 高维贝叶斯优化之监督降维

    本文提出了一种基于 Sliced Inverse Regression（SIR）的高维贝叶斯优化算法，能够通过降维方法学习对象函数的内在子结构，并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明，该算法在高维贝叶斯优化中具有优越性。

    Jul, 2019

  • 稀疏轴向对齐子空间的高维贝叶斯优化

    基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

    Feb, 2021

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 高维搜索空间上的多目标贝叶斯优化

    本文提出了一种可伸缩的多目标贝叶斯优化算法 MORBO，通过同时在设计空间的多个本地区域中使用协调策略进行并行优化，远高于现有算法的采样效率，适用于高维度的综合问题。

    Sep, 2021

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 利用局部高斯过程限制搜索维度的贝叶斯优化

    通过限制搜索维度并利用本地高斯过程回归（LGPR）将贝叶斯优化（BO）扩展到更高维度，提高了预测准确性、搜索效率和高斯过程回归中的时间复杂度。在 20D Ackley 和 Rosenbrock 函数的评估中，搜索效率相比其他方法提高了约 69% 和 40%，并将该方法应用于功率半导体器件的自动设计任务，成功将特定导通电阻降低到传统方法的 25％以及没有 LGPR 的情况下的 3.4％。

    Mar, 2024

  • 费用受限的贝叶斯优化的非近视方法

    本文提出了将成本约束的 BO 建模为约束马尔科夫决策过程 (CMDP) 的方法，并开发了一个高效的滚动估计算法，以同时考虑成本和未来迭代次数。作者在超参数优化和传感器集选择中验证了他们的方法。

    Jun, 2021

  • 贝叶斯优化在机器人学习中遇到了黎曼流形

    该研究提出了一种使用 Riemannian 流形理论的方法，以在机器人学领域中处理非欧几里德参数空间的高维度问题，从而增强了贝叶斯优化的效果，测试结果表明该方法具有较好的性能。

    Oct, 2019