可扩展的结构自动微分一阶贝叶斯优化
本文提出了一种处理高维黑盒函数优化挑战的方法 —— 通过 (1) 推断函数的潜在加法结构以进行更加高效和有效的贝叶斯优化,(2) 并行进行多次评估以减少方法所需的迭代次数。通过 Gibbs 抽样学习潜在结构,并使用定向点过程构建批量查询。实验结果证明,该方法优于现有技术。
Mar, 2017
本文提出了一种使用快速矩阵向量乘法的迭代求解方法,结合基于设阵的 Cholesky 预处理,使得高斯过程能够处理函数值与导数,从而实现了基于贝叶斯优化的核学习以及维度约减,该方法能够适用于高维度和较大评估预算。
Oct, 2018
本文提出了一个深度学习框架,基于具有随机先验的 bootstrap 整合的神经体系结构,用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系,测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。
Feb, 2023
本文探讨了机器学习中一种使用高斯过程对困难或昂贵评价的未知函数进行优化和集成的贝叶斯方法,并将其扩展以利用来自未知函数的导数信息,通过采样推断来融合超参数的不确定性,并且介绍了克服之前梯度增强高斯过程的 singularity 问题的技术。结果表明,利用导数信息可以在贝叶斯优化和数值积分问题中提供显着的优化性能。
Mar, 2017
本文提出了一种新的贝叶斯优化算法,它利用导数信息来降低目标函数评估的数量,可以适用于包括逐步和批量形式在内的嘈杂和不完整的导数信息,并且可以自动选择保留方向导数以减少推论的计算成本,该算法在众多优化过程中表现出最新的状态性能。
Mar, 2017
对高维优化问题进行系统研究发现标准高斯过程贝叶斯优化(BO)在很多合成和真实世界基准问题中表现出色,在高维优化上经常比专门设计的现有 BO 方法更出色,同时具备适应各种目标函数结构的鲁棒性,单纯使用最大似然估计即可获得有前景的优化性能,不需要复杂的马尔可夫链蒙特卡洛采样,因此建议重新评估和深入研究标准 BO 在解决高维问题方面的潜力。
Feb, 2024
基于高斯过程 surrogate 模型,利用 Hamiltonian Monte Carlo 进行推断,能够迅速识别与建模未知目标函数相关的空间稀疏子空间,实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。
Feb, 2021
本文提出了一种基于 Sliced Inverse Regression(SIR)的高维贝叶斯优化算法,能够通过降维方法学习对象函数的内在子结构,并且采用了核技巧来降低计算复杂度和学习非线性的子集。实验证明,该算法在高维贝叶斯优化中具有优越性。
Jul, 2019
优化决策系统的许多方法依赖于基于梯度的方法,然而在缺乏信息或反馈不明确的情况下,这些方法可能导致性能不佳。为了解决高维复杂决策系统中的挑战,我们提出了一个紧凑的多层架构模型来建模角色之间的互动,同时引入了 Hessian-aware Bayesian Optimization 以高效优化参数化了大量参数的多层架构。实验证明,我们的方法(HA-GP-UCB)在资源限制和反馈错误设置下能够有效工作。
Aug, 2023