Apr, 2024

通过概率上升实现通用批次贝叶斯优化的正交方法

PDF
TL;DR在贝叶斯优化中并行化是一个常见的策略，但面临几个挑战：在获取函数和内核选择方面需要灵活性，同时处理离散和连续变量的灵活性，模型错误指定以及快速大规模并行化。为了解决这些挑战，我们介绍了一个灵活和模块化的基于概率提升和内核数值积分的批量贝叶斯优化框架，称为 SOBER，我们将其作为基于 GPyTorch/BoTorch 的 Python 库进行展示。我们的框架提供以下独特的好处：(1) 统一方法在下游任务中具有多功能性。(2) 无梯度采样器，不需要获取函数的梯度，提供领域不可知的采样 (例如，离散和混合变量，非欧几里得空间)。(3) 领域先验分布的灵活性。(4) 自适应批量大小 (自主确定最佳批量大小)。(5) 鲁棒性对模型错指定的再现核希尔伯特空间。(6) 自然的停止准则。
发现论文，激发创造
  • 通过贝叶斯积分实现具有多样性约束的领域无关批量贝叶斯优化

    提出了一个基于 SOBER 方法的领域不可知的谨慎并行主动采样器，用于解决有多种约束和 / 或不传统输入空间的实际优化问题，包括安全受限制的药物发现和图形结构空间上的人际关系意识的团队优化，并考虑未知的约束条件下目标函数查询拒绝的情况。

    Jun, 2023

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 批处理高维贝叶斯优化：通过结构核学习实现

    本文提出了一种处理高维黑盒函数优化挑战的方法 —— 通过 (1) 推断函数的潜在加法结构以进行更加高效和有效的贝叶斯优化，(2) 并行进行多次评估以减少方法所需的迭代次数。通过 Gibbs 抽样学习潜在结构，并使用定向点过程构建批量查询。实验结果证明，该方法优于现有技术。

    Mar, 2017

  • 大批量神经多目标贝叶斯优化

    本文提出了一种基于贝叶斯神经网络的优化框架，专门针对数据密集型环境中多目标优化的局限性进行了优化，实现了对大量数据的有效处理和复杂问题的建模，并展示了其在航空动力学和彩色印刷两个领域的应用和有效性。

    Jun, 2023

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024

  • 批次贝叶斯优化

    本文基于高斯过程置信上界算法（Gaussian process upper confidence bound）和汤普森抽样方法（Thompson sampling）提出了两个贝叶斯优化算法，同时给出了频率学派的遗憾保证和数值结果。

    Nov, 2019

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 使用改进的概率提高选择技术的多目标贝叶斯全局优化并行算法

    本文提出了五种多目标贝叶斯全局优化的概率提高算法 (q-PoI)，适用于多个解点的批量评估，并针对这些算法的位置依赖行为进行了探讨，并通过实证实验证明了两种贪婪型的 q-PoIs 在低维问题上的有效性以及两种探索性的 q-PoIs 在高维问题上的有效性。

    Aug, 2022

  • 混合批次贝叶斯优化

    研究在 Bayeasian Optimization 中如何使用高斯过程作为后验估计器，并提出了一种混合算法，该算法基于当前状态在顺序策略和批处理策略之间动态切换，批处理策略具有可变的批次大小。本文给出了算法的理论并在八个基准 BO 问题上展示了实验结果。结果表明，相比纯顺序策略，该方法可以实现大幅度的加速（高达 % 78），而不会遭受任何显着的性能损失。

    Feb, 2012

  • 批量贝叶斯优化的并行知识梯度法

    本文提出一种新的批处理贝叶斯优化算法 —— 并行知识梯度方法，有效计算贝叶斯最优批处理点的策略，并在本文中，我们证明了并行知识梯度方法比以往的批处理贝叶斯优化算法更快地找到了全局最优解，在合成测试函数和调整实际机器学习算法的超参数时表现十分优异，特别是在函数评估带有噪声的情况下。

    Jun, 2016