使用近似集合核的贝叶斯优化

May, 2019

Bayesian Optimization with Approximate Set Kernels

Jungtaek Kim, Michael McCourt, Tackgeun You, Saehoon Kim, Seungjin Choi

TL;DR通过提出一种基于集合的贝叶斯优化方法，我们在积极弥补高计算成本的基础上，解决了传统基于高斯过程实现的贝叶斯优化对于置换不变性的无法满足需求问题，并通过构建置换不变性的集合内核以及基于对称性的可行域收缩获取优化了集合内核的代理函数，并通过数值实验证实我们的方法优于其他方法。

Abstract

We propose a practical bayesian optimization method over sets, to minimize a black-box function that takes a set as a single input. Because set inputs are permutation-invariant, traditional Gaussian process-based

bayesian optimization set kernel permutation-invariant surrogate function numerical experiments

发现论文，激发创造

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

批处理高维贝叶斯优化：通过结构核学习实现

本文提出了一种处理高维黑盒函数优化挑战的方法 —— 通过 (1) 推断函数的潜在加法结构以进行更加高效和有效的贝叶斯优化，(2) 并行进行多次评估以减少方法所需的迭代次数。通过 Gibbs 抽样学习潜在结构，并使用定向点过程构建批量查询。实验结果证明，该方法优于现有技术。

Mar, 2017

置换空间上的贝叶斯优化

本研究针对基于贝叶斯优化的排列空间问题，提出了两种算法：BOPS-T 和 BOPS-H。两种算法均采用了高斯过程模型，BOPS-T 采用 Kendall 核函数和可处理的采集函数优化方法，BOPS-H 采用 Mallow 核函数和启发式搜索方法来优化期望改进采集函数。理论分析和实验表明，这两种算法在人工和实际基准测试中均优于同类问题的最先进的 BO 算法。

Dec, 2021

基于贝叶斯优化和符号最优传输的结构核搜索

本文提出了一种通过定义与内核关联的统计假设的符号表示来定义内核 - 内核的方法，并在离散内核空间中搜索的新颖且高效的搜索方法。

Oct, 2022

核基学习中的稀疏逼近方法的改进收敛速率

本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

Feb, 2022

基于确定性遗憾界的高效批处理黑盒优化

本研究从基于频率的核方法角度探讨黑盒优化，提出了一种新的批处理优化算法，可以同时优化收购函数并从整个批次中选择点，理论上为无噪声和扰动设置导出了遗憾界限，同时分析了对贝叶斯优化的鲁棒初始化所需的敌对遗憾的性质。

May, 2019

图中节点子集上函数的贝叶斯优化

该研究论文提出了一种基于贝叶斯优化的新型图优化框架，通过将原图中的每个 k - 节点子集映射到新的组合图中，并采用局部建模方法来高效遍历后者的子图，从而解决了在图上定义的函数进行组合优化的问题。大量实验证明了该框架在各种类型的图和优化任务上的有效性，并通过消融实验进行了详细分析。

May, 2024

重尾利润下的贝叶斯优化

本文通过对高斯过程黑盒优化中噪音模型的研究，提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法，解决了现有算法在重尾噪音下表现较差的问题，并在人造和真实数据集上验证了算法性能。

Sep, 2019

基于原则的偏好贝叶斯优化

通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能，相比现有的启发式方法而言，我们的方法不仅拥有遗憾界限或收敛性的理论保证。

Feb, 2024

基于图的函数的贝叶斯优化

我们提出了一种新的贝叶斯优化框架，通过学习适当的图核心，我们的框架具有适应目标函数行为的优点，本地建模方法进一步保证了我们方法的效率。

Jun, 2023