ICLRApr, 2022

$π$BO：基于用户信念增强收敛函数的贝叶斯优化方法

PDF
TL;DR提出了一种基于先验置信度的并将其纳入概率分布中的 PiBO (Bayesian optimization 的改进版)，该算法可用于机器学习中的超参数优化，可以提高其效率并显著减少时间成本。
bayesian optimizationhyperparameter optimizationmachine learningacquisition functionprior belief
发现论文，激发创造
  • 优先贝叶斯优化

    本文介绍了一种名为 PBO 的新框架，它扩展了标准 BO 的思想，并通过模型化 Bernoulli - 高斯过程模型来建模每个决斗的赢家概率，从而允许在仅通过两两比较的方式来查询隐函数，并且相对于以往方法，该方法在寻找最大值过程中需要极少的比较。

    Apr, 2017

  • 无似然贝叶斯优化的通用配方

    提出了一种基于无似然推断的方法（LFBO），通过直接建模采集功能而不必单独执行概率替代模型上的推断，使 BO 扩展到更广泛的模型和实用程序类别，通过适当地选择实用程序函数（EI），LFBO 在几个实际最优化问题上优于各种最先进的黑匣子优化方法。

    Jun, 2022

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024

  • 关于评估贝叶斯优化自身超参数影响的研究

    本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

    Aug, 2019

  • Bayesian Optimization 的高效展开策略

    本文介绍了一种基于贝叶斯优化，采用基于滚动学习策略搜索的方法，其中引入了以减少计算负担为目的的仿准蒙特卡罗、公共随机数和控制变量等技术，应用于多模态目标和模型误差的贝叶斯优化领域中。

    Feb, 2020

  • 基于决策论熵的贝叶斯优化泛化

    本文提出一种基于 Sherman 逻辑的不确定性泛化度量，将它应用到贝叶斯优化中来表征不确定性，从而解决了当前信息理论 BO 算法无法考虑后续过程的问题，并且提出一个以此为基础的灵活的获取函数家族。最后，作者还开发了一种基于梯度的方法来高效优化它们，成功地解决了各种顺序决策任务中的优化问题。

    Oct, 2022

  • 预训练高斯过程用于贝叶斯优化

    本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

    Sep, 2021

  • 基于原则的偏好贝叶斯优化

    通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能，相比现有的启发式方法而言，我们的方法不仅拥有遗憾界限或收敛性的理论保证。

    Feb, 2024

  • 用户指导贝叶斯优化的通用框架

    ColaBO 是首个贝叶斯规范框架，用于将超出典型内核结构的先前信念整合到优化过程中，能够在准确的先前信息下大幅加速优化，并在误导性信息下保持大致默认性能。

    Nov, 2023

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021