使用高斯过程在贝叶斯优化中处理类别变量和整数值变量
本文介绍了贝叶斯优化的基本工作原理,包括高斯过程回归和三种常见的采集函数;讨论了高级技术,包括并行运行多个函数评估,多保真度和多信息源优化,多任务的贝叶斯优化,并探讨贝叶斯优化软件和未来研究方向。
Jul, 2018
本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法,采用新型训练损失函数进行高斯过程超参数估计,以确保无偏估计,从而使其即使在未知真实超参数的情况下,也可以亚线性地收敛到目标函数的全局最优点。
Jun, 2023
本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题,并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。
Feb, 2019
为优化分类和类别特定连续变量定义的真实世界函数,提出了一种将问题规定为多臂赌博问题的新方法,其中每个类别对应于一个臂,其奖励分布以连续变量中的目标函数最优点为中心。
Nov, 2019
模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法,只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中,我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。
Jan, 2024
提出了一种基于混合类型空间的新方法 CoCaBO,它结合了多臂赌博机和贝叶斯优化的优点,使用高斯过程核来对包含连续和分类输入的黑盒问题进行优化,实现了在探索和开发之间的平衡,并在连续和分类输入的合成和实际优化任务上超越了现有方法。
Jun, 2019
使用效用校准变分推断框架,我们修改了稀疏变分高斯过程方法以更好地满足贝叶斯优化的目标,从而确保在计算预算有限的情况下做出最佳决策。我们的方法适用于任何决策理论获得函数,并且与 TuRBO 等信任区域方法兼容。在标准和批量贝叶斯优化设置中,我们为预期改进和知识梯度获得函数导出了高效的联合目标。我们的方法在控制和分子设计的高维基准任务上优于标准的稀疏变分高斯过程方法。
Jun, 2024
对高维优化问题进行系统研究发现标准高斯过程贝叶斯优化(BO)在很多合成和真实世界基准问题中表现出色,在高维优化上经常比专门设计的现有 BO 方法更出色,同时具备适应各种目标函数结构的鲁棒性,单纯使用最大似然估计即可获得有前景的优化性能,不需要复杂的马尔可夫链蒙特卡洛采样,因此建议重新评估和深入研究标准 BO 在解决高维问题方面的潜力。
Feb, 2024
该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法,可用于多个相关目标的优化,并可应用于涉及成千上万个相关输出的任务,从而实现了与现有方法相比较大的样本效率提高。
Jun, 2021
本文提出了一种处理遗失输入的贝叶斯优化方法,通过找到每个遗失值的概率分布,从而对缺失值进行修正,并使用新的基于 Upper Confidence Bound(UCB)的收购功能来建议下一个代价低的点进行功能评估,证明了该方法的有效性。
Jun, 2020