Mar, 2022

稀疏贝叶斯优化

PDF
TL;DR介绍了一种适用于解释性要求高场景下的基于正则化的 BO 方法（SEBO），以发现稀疏且解释性更高的配置。该方法使用一种基于连续同伦的可微松弛技巧，使其能够在直接处理 L0 正则化的同时实现目标优化和稀疏化探索，经过合成和真实世界问题的评估，证明这种方法能够有效优化稀疏化问题。
bayesian optimizationrecommendation systemsinterpretabilityregularizationsparsity
发现论文，激发创造
  • 稀疏轴向对齐子空间的高维贝叶斯优化

    基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

    Feb, 2021

  • 基于仿真的贝叶斯优化

    模拟基于贝叶斯优化 (SBBO) 是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，我们通过使用不同的代理模型在实证上证明了 SBBO 方法的有效性。

    Jan, 2024

  • 基于原则的偏好贝叶斯优化

    通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测试函数和热舒适优化问题上都能稳定地达到更好或者有竞争力的性能，相比现有的启发式方法而言，我们的方法不仅拥有遗憾界限或收敛性的理论保证。

    Feb, 2024

  • 超贝叶斯优化预测建模

    通过在模型空间和函数空间之间进行反馈，将模型选择与贝叶斯优化相结合，以更加高效地达到函数的极值，证明收敛性并在实验结果中显示与标准贝叶斯优化相比的显著改进。

    Aug, 2023

  • 通过学习相关潜空间推进贝叶斯优化

    通过引入 Lipschitz 正则化和损失加权等方法，我们提出了一种相关的潜空间贝叶斯优化（CoBO）方法，用于优化黑盒函数中的离散数据。在分子设计和算术表达式拟合等离散数据的多个优化任务中，我们的方法在较小的资源预算下取得了高性能。

    Oct, 2023

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 迭代学习的贝叶斯优化

    本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

    Sep, 2019

  • 优先贝叶斯优化

    本文介绍了一种名为 PBO 的新框架，它扩展了标准 BO 的思想，并通过模型化 Bernoulli - 高斯过程模型来建模每个决斗的赢家概率，从而允许在仅通过两两比较的方式来查询隐函数，并且相对于以往方法，该方法在寻找最大值过程中需要极少的比较。

    Apr, 2017

  • 未知超参数的无悔贝叶斯优化

    本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

    Jan, 2019

  • 正则化无界贝叶斯优化

    本研究基于贝叶斯优化方法，提出了两种自动调整搜索空间大小的算法，并将它们应用于深度学习中的优化问题，包括超参数调优、神经网络模型训练等，取得了不错的结果。

    Aug, 2015