Jun, 2022

可证明的强鲁棒性元贝叶斯优化

PDF
TL;DR本文介绍了两种可扩展且在元学习中具有稳健性的算法，它们是 “稳健元高斯过程 - 置信上界”（RM-GP-UCB）和 “稳健元高斯过程 - 汤普森抽样”（RM-GP-TS），两者均具有渐进无遗憾性。我们同时优化经过在线学习分配给个别任务的权重来减弱不同任务的影响，从而进一步增强稳健性。实证评估表明，在各种应用中，RM-GP-UCB 表现出有效和一致的性能，而尽管 RM-GP-TS 在理论和实践中都不如 RM-GP-UCB 稳健，但在一些具有较少不同任务的场景中表现具有竞争力且更具计算效率。
bayesian optimizationmeta-learningrobustnessgaussian processregret minimization
发现论文，激发创造
  • MALIBO: 元学习用于无似然贝叶斯优化

    提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

    Jul, 2023

  • 基于后验采样的贝叶斯优化与更紧的贝叶斯遗憾界限

    该研究论文介绍了贝叶斯优化中的不同收集函数，探讨了高斯过程上置信界与 Thompson 采样方法的理论性能，并提出了一种称为来自样本路径最大值的改进概率的新的收集函数，它能够缓解实际应用中的问题。

    Nov, 2023

  • 随机高斯过程上置信区间的贝叶斯优化

    为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程 UCB 采集函数。通过从一个分布中采样探索开发权衡参数，我们证明这允许期望的权衡参数能更好地适应问题而不会影响函数贝叶斯遗憾的约束，并提供结果表明我们的方法在一系列真实和合成问题中比 GP-UCB 获得了更好的性能。

    Jun, 2020

  • 具未知高斯过程先验的元贝叶斯优化的遗憾界

    本文提出一种基于经验贝叶斯的方法，估计高斯过程先验，并构建无偏估计的后验，在线实验中达到近似零遗憾边界。

    Nov, 2018

  • 私有外包贝叶斯优化

    本文提出了私有化外包高斯过程 - 上置信区间算法（PO-GP-UCB）, 用于保护隐私 Bayesian 优化算法，在外包设置中提供可证明的性能保证，主要理论贡献为表明与标准高斯过程 - 上置信区间算法相似的后悔上界能被建立。

    Oct, 2020

  • 具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

    本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

    Jun, 2023

  • 不确定输入下的贝叶斯优化

    本文提出了一种基于高斯过程模型及概率分布的上置信区间算法来解决 Bayesian 优化问题中同时考虑查询结果和查询位置不确定性的问题，并在模拟合成和真实数据等场景中对比了该算法与传统 UCB 算法以及其他考虑输入噪声的 BO 算法的实验表现。

    Feb, 2019

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • 未知超参数的无悔贝叶斯优化

    本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

    Jan, 2019

  • 时变高斯过程贝叶斯优化

    本文考虑带有 Bandit 反馈的序贝叶斯优化问题，采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模，并介绍了高斯过程 UCB 算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界，提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能，并发现 TV-GP-UCB 的逐渐遗忘效果比 R-GP-UCB “尖锐重置” 更好，而且两种算法都显著优于传统的高斯过程 UCB 算法，因为它将陈旧数据和新数据视为平等。

    Jan, 2016