无似然贝叶斯优化的通用配方
该论文提出了一种基于大型语言模型的方法 FunBO,可以学习用于函数优化的新的采集函数,并在各种全局优化基准和超参数优化任务中取得竞争性性能。
Jun, 2024
模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法,只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中,我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。
Jan, 2024
将 expected improvement 的计算转化为二分类问题,以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。
Feb, 2021
本文介绍了一种名为 PBO 的新框架,它扩展了标准 BO 的思想,并通过模型化 Bernoulli - 高斯过程模型来建模每个决斗的赢家概率,从而允许在仅通过两两比较的方式来查询隐函数,并且相对于以往方法,该方法在寻找最大值过程中需要极少的比较。
Apr, 2017
贝叶斯优化是一种采样高效的全局优化方法,采用获得函数(采购函数)来引导其搜索过程。本文利用 Monte Carlo 方法估计采购函数,证明其可进行梯度优化;我们还确定了一类通用的采购函数,包括 EI 和 UCB,并证明我们可以使用贪心算法对其进行优化。
May, 2018
提出了一种新的元学习贝叶斯优化方法,通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制,明确建模任务不确定性,并使用辅助模型实现对新任务的稳健适应,在各个基准测试中展现了强大的即时性能,并优于现有元学习贝叶斯优化方法。
Jul, 2023
提出了一种基于先验置信度的并将其纳入概率分布中的 PiBO (Bayesian optimization 的改进版),该算法可用于机器学习中的超参数优化,可以提高其效率并显著减少时间成本。
Apr, 2022
本文介绍了贝叶斯优化的方法,通过建模替代函数和最大化收购功能来确定下一步查询的位置,同时考虑三种流行的收购功能的局部优化器的性能分析,并引入允许本地优化方法从多个不同的起始条件开始的分析,数值实验证实了我们的理论分析的有效性。
Jan, 2019
本文介绍了一种基于强化学习技术的数据驱动式采样函数选择策略,称为强化学习辅助贝叶斯优化(RLABO),用于高昂的黑盒优化问题,取得了具有竞争力和鲁棒性的优化效果。
Oct, 2022
通过使用偏好反馈,我们构建了黑盒函数的置信区间,并提出了一种乐观算法,该算法具有有效的计算方法,并且在累积遗憾方面具有信息理论上的界限,从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明,我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能,相比现有的启发式方法而言,我们的方法不仅拥有遗憾界限或收敛性的理论保证。
Feb, 2024