Feb, 2024

基于原则的偏好贝叶斯优化

PDF
TL;DR通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能，相比现有的启发式方法而言，我们的方法不仅拥有遗憾界限或收敛性的理论保证。
发现论文，激发创造
  • 优先贝叶斯优化

    本文介绍了一种名为 PBO 的新框架，它扩展了标准 BO 的思想，并通过模型化 Bernoulli - 高斯过程模型来建模每个决斗的赢家概率，从而允许在仅通过两两比较的方式来查询隐函数，并且相对于以往方法，该方法在寻找最大值过程中需要极少的比较。

    Apr, 2017

  • 随机延迟反馈下的贝叶斯优化

    本文研究了贝叶斯优化在随机延迟反馈问题上的表现，提出了具有子线性遗憾保证的算法，并在批量 BO 和上下文高斯过程老虎机方面做出了新贡献。作者在合成和真实数据集上进行了实验证明了算法的性能。

    Jun, 2022

  • 未知超参数的无悔贝叶斯优化

    本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

    Jan, 2019

  • 多目标主动偏好学习的贝叶斯优化

    提出了一种贝叶斯优化方法，用于在具有昂贵目标函数的多目标优化问题中确定最优解，通过交互方式自适应地估计 DM 的贝叶斯偏好模型，并利用获得的偏好信息进行主动学习，从而有效地在基准函数优化和机器学习模型的超参数优化问题中找到最优解。

    Nov, 2023

  • 伪贝叶斯优化

    采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

    Oct, 2023

  • BORE: 基于密度比率估计的贝叶斯优化

    将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

    Feb, 2021

  • 批次贝叶斯优化

    本文基于高斯过程置信上界算法（Gaussian process upper confidence bound）和汤普森抽样方法（Thompson sampling）提出了两个贝叶斯优化算法，同时给出了频率学派的遗憾保证和数值结果。

    Nov, 2019

  • 密度比估计的批次贝叶斯优化

    本文介绍了一种基于密度比估计的贝叶斯优化方法，能够使用概率二元分类器代替函数上的先验，从而增强可扩展性与性能保证，并将问题重新形式化为近似贝叶斯推理，也能扩展至批优化问题中。该方法在一些实验中与其他基线方法进行了评估。

    Sep, 2022

  • 偏好感知的约束多目标贝叶斯优化

    本研究提出了一种基于贝叶斯优化的 PAC-MOO 方法来解决在大部分输入空间不可行时（即违反约束条件），由实践者指定目标函数的约束多目标优化问题，特别地，在电路和电力系统设计等工程设计问题中。该方法能够学习输出目标和约束的代理模型，并选择在每次迭代中评估最大程度能获得有关最佳受约束 Pareto 前沿的信息且同时考虑目标偏好的候选输入，实验结果表明 PAC-MOO 比现有方法更加有效。

    Mar, 2023

  • 贝叶斯优化中找到问题的解，但不确定其位置

    利用高斯过程代理转换和两种收集函数来有效地搜索输入量 x * 的新颖贝叶斯优化方法对调优深度强化学习算法和肤色分割数据集中的 XGBoost 模型进行了实验证明其相对于标准 BO 方法具有直观和数量上更好的性能。

    May, 2019