AAAINov, 2017

具因子图的分散高维贝叶斯优化

PDF
TL;DR本文提出了一种新颖的去中心化高维贝叶斯优化算法（DEC-HBO），它利用各个输入组成部分在未知目标函数 f 的输出上产生的相互依赖关系提高贝叶斯优化（BO）算法性能，并在不需要先验知识或输入空间的低（有效）维度的情况下保持可扩展性。通过提出稀疏但丰富的因子图表示法，设计了一个能够通过分布式消息传递以去中心化方式进行高效优化的采样函数，以实现对 f 的富描述。实验表明，DEC-HBO 算法优于现有 BO 算法。
bayesian optimizationhigh-dimensionaldec-hbofactor graphdecentralized
发现论文，激发创造
  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 基于海森矩阵感知的贝叶斯优化在决策系统中的应用

    优化决策系统的许多方法依赖于基于梯度的方法，然而在缺乏信息或反馈不明确的情况下，这些方法可能导致性能不佳。为了解决高维复杂决策系统中的挑战，我们提出了一个紧凑的多层架构模型来建模角色之间的互动，同时引入了 Hessian-aware Bayesian Optimization 以高效优化参数化了大量参数的多层架构。实验证明，我们的方法（HA-GP-UCB）在资源限制和反馈错误设置下能够有效工作。

    Aug, 2023

  • 高维贝叶斯优化：基于有重叠分组加性模型

    本文提出了一种新的基于加性模型的贝叶斯优化算法，可以高效地处理存在重叠子集的高维函数优化问题，并通过图上的信息传递算法优化其采集函数，同时提出了通过 Gibbs 抽样学习其结构的算法，实验证明该方法在合成数据和真实数据上都具有良好效果。

    Feb, 2018

  • 高维空间中的批量大规模贝叶斯优化

    本文提出了一种基于集成高斯过程模型的贝叶斯优化算法（EBO），以解决黑盒函数优化问题中大规模观测、高维输入空间和批量查询质量与多样性平衡等三大挑战。结果表明，EBO 能在几分钟内扩展到数万次观测，同时取得了前所未有的优化效果。

    Jun, 2017

  • 高维贝叶斯优化与分组测试

    我们提出了一种称为 Group Testing Bayesian Optimization (GTBO) 的算法，通过使用组合测试的方法来识别和利用活跃变量，从而优化高维问题的黑盒函数。通过利用坐标轴对齐子空间假设，GTBO 在多个合成和真实高维优化任务上与最先进的方法相竞争，并有助于发现应用中的活跃参数，从而增强从业者对问题的理解。

    Oct, 2023

  • 通过潜在决策模型的隐藏约束贝叶斯优化

    这篇论文介绍了一种名为 Hidden-Constrained Latent Space Bayesian Optimization (HC-LSBO) 的新型贝叶斯优化方法，它集成了潜在决策模型，并利用可变自编码器学习可行决策的分布，从而实现原始决策空间与较低维潜在空间的双向映射。通过这种方式，HC-LSBO 捕捉了公共政策制定中固有的隐藏约束的微妙差别，允许在潜在空间进行优化，同时在原始空间中评估目标。我们通过在合成和真实数据集上进行数字实验验证了这种方法，具体关注了乔治亚州亚特兰大的大规模警区划问题。我们的结果显示，与基线相比，HC-LSBO 在性能和效率方面均有显著改进。

    Oct, 2023

  • 稀疏轴向对齐子空间的高维贝叶斯优化

    基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

    Feb, 2021

  • 学习过程中增加范围：嵌套子空间中的自适应贝叶斯优化

    提出 BAxUS 方法，通过应用一种新颖的嵌套随机子空间方法来适应高维度贝叶斯优化问题，确保高性能并消除失败风险，同时得到了比现有方法更好的结果。

    Apr, 2023

  • 基于树结构加性模型的高维贝叶斯优化

    本文提出了一种基于广义加性模型 (GAM) 的 Bayesian Optimization (BO) 方法来解决高维优化问题，该方法采用树形结构的依赖图来优化加速计算，同时保留现有方法的样本效率，相比于通过 Gibbs 采样和变异的混合图算法更加高效，通过一系列的实验验证了该方法的有效性。

    Dec, 2020

  • 联合复合潜空间贝叶斯优化

    Bayesian Optimization is enhanced by integrating intermediate outputs and effectively tackles high-dimensional problems using Joint Composite Latent Space Bayesian Optimization.

    Nov, 2023