Jul, 2023

MALIBO: 元学习用于无似然贝叶斯优化

PDF
TL;DR提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。
bayesian optimizationmeta-learningsurrogate modelstask adaptationuncertainty
发现论文，激发创造
  • 可证明的强鲁棒性元贝叶斯优化

    本文介绍了两种可扩展且在元学习中具有稳健性的算法，它们是 “稳健元高斯过程 - 置信上界”（RM-GP-UCB）和 “稳健元高斯过程 - 汤普森抽样”（RM-GP-TS），两者均具有渐进无遗憾性。我们同时优化经过在线学习分配给个别任务的权重来减弱不同任务的影响，从而进一步增强稳健性。实证评估表明，在各种应用中，RM-GP-UCB 表现出有效和一致的性能，而尽管 RM-GP-TS 在理论和实践中都不如 RM-GP-UCB 稳健，但在一些具有较少不同任务的场景中表现具有竞争力且更具计算效率。

    Jun, 2022

  • 贝叶斯优化中的迁移学习元学习获取函数

    本文提出了一种基于元学习和高斯过程的贝叶斯优化具有自定义优化器的方法，通过将来自相关任务的信息进行转移学习，实现对目标函数的数据高效优化。

    Apr, 2019

  • 贝叶斯优化的迁移学习：综述

    该研究论文介绍基于贝叶斯优化的迁移学习方法，从初始点设计、搜索空间设计、代理模型和获取函数等四个方面总结其方法论和技术细节。同时，论文彰显了该方法在广泛应用中的优点，并提出了未来的研究方向。

    Feb, 2023

  • Transformer 神经过程结合端到端 Meta-Bayesian 优化

    该论文提出了一种基于元学习的贝叶斯优化框架，并利用神经过程和转换器结构学习收购函数，通过强化学习来解决元数据缺乏标签问题，最终在多种领域的实验中取得了最先进的效果。

    May, 2023

  • 多目标主动偏好学习的贝叶斯优化

    提出了一种贝叶斯优化方法，用于在具有昂贵目标函数的多目标优化问题中确定最优解，通过交互方式自适应地估计 DM 的贝叶斯偏好模型，并利用获得的偏好信息进行主动学习，从而有效地在基准函数优化和机器学习模型的超参数优化问题中找到最优解。

    Nov, 2023

  • 安全贝叶斯优化的元学习先验

    本文提出一种基于元学习的数据驱动方法，以从离线数据中元学习优化安全贝叶斯优化的先验知识，通过经验不确定度度量和前沿搜索算法选择符合安全限制的先验范围，加速了安全 BO 方法的收敛速度并保持了安全。

    Oct, 2022

  • 利用积极征询专家知识增强的贝叶斯优化

    本文介绍了一种基于贝叶斯优化的多任务学习方法，其中引入了专家知识进行加速优化，并通过 Siamese 神经网络进行知识收集，实验结果表明，该方法可以显著加速优化过程。

    Aug, 2022

  • 无似然贝叶斯优化的通用配方

    提出了一种基于无似然推断的方法（LFBO），通过直接建模采集功能而不必单独执行概率替代模型上的推断，使 BO 扩展到更广泛的模型和实用程序类别，通过适当地选择实用程序函数（EI），LFBO 在几个实际最优化问题上优于各种最先进的黑匣子优化方法。

    Jun, 2022

  • 基于半监督学习和优化无标签数据采样的高维贝叶斯优化

    本文提出一种基于半监督学习的师生模型的贝叶斯优化方法，利用未标记数据和黑盒函数，在学习到的潜在空间中降低维度，使其可应用于高维问题，优化 unlabeled data 的采样和选择，采用黑盒参数化采样分布和经过动态拟合的极值分布，该方法在多项真实世界和合成训练中优于其他已有 BO 方法。

    May, 2023

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024