利用梯度和海森矩阵在贝叶斯优化和贝叶斯积分中的应用

Mar, 2017

利用梯度和海森矩阵在贝叶斯优化和贝叶斯积分中的应用

Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature

Anqi Wu, Mikio C. Aoi, Jonathan W. Pillow

TL;DR本文探讨了机器学习中一种使用高斯过程对困难或昂贵评价的未知函数进行优化和集成的贝叶斯方法，并将其扩展以利用来自未知函数的导数信息，通过采样推断来融合超参数的不确定性，并且介绍了克服之前梯度增强高斯过程的 singularity 问题的技术。结果表明，利用导数信息可以在贝叶斯优化和数值积分问题中提供显着的优化性能。

Abstract

An exciting branch of machine learning research focuses on methods for learning, optimizing, and integrating unknown functions that are difficult or costly to evaluate. A popular Bayesian approach to this problem uses a Gaussian process (GP) to construct a posterior distribution over t

machine learning bayesian optimization gaussian process derivative information uncertainty

发现论文，激发创造

梯度贝叶斯优化

本文提出了一种新的贝叶斯优化算法，它利用导数信息来降低目标函数评估的数量，可以适用于包括逐步和批量形式在内的嘈杂和不完整的导数信息，并且可以自动选择保留方向导数以减少推论的计算成本，该算法在众多优化过程中表现出最新的状态性能。

Mar, 2017

使用虚拟导数符号观测校正贝叶斯优化中的边界过度探索缺陷

提出一种在高维搜索空间里实现参数选择的贝叶斯优化方法，其中使用高斯过程作为代理模型，通过在边界处添加虚拟导数观测值的方式优化搜索空间的探索，实现了对机器学习算法配置等问题的目标函数进行全局优化的目的。

Apr, 2017

贝叶斯优化教程

本文介绍了贝叶斯优化的基本工作原理，包括高斯过程回归和三种常见的采集函数；讨论了高级技术，包括并行运行多个函数评估，多保真度和多信息源优化，多任务的贝叶斯优化，并探讨贝叶斯优化软件和未来研究方向。

Jul, 2018

具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

基于海森矩阵感知的贝叶斯优化在决策系统中的应用

优化决策系统的许多方法依赖于基于梯度的方法，然而在缺乏信息或反馈不明确的情况下，这些方法可能导致性能不佳。为了解决高维复杂决策系统中的挑战，我们提出了一个紧凑的多层架构模型来建模角色之间的互动，同时引入了 Hessian-aware Bayesian Optimization 以高效优化参数化了大量参数的多层架构。实验证明，我们的方法（HA-GP-UCB）在资源限制和反馈错误设置下能够有效工作。

Aug, 2023

高斯过程和贝叶斯优化在金融应用中的作用

本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

Mar, 2019

使用导数扩展高斯过程回归模型

本文提出了一种使用快速矩阵向量乘法的迭代求解方法，结合基于设阵的 Cholesky 预处理，使得高斯过程能够处理函数值与导数，从而实现了基于贝叶斯优化的核学习以及维度约减，该方法能够适用于高维度和较大评估预算。

Oct, 2018

预训练高斯过程用于贝叶斯优化

本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

Sep, 2021

未知超参数的无悔贝叶斯优化

本文提出了第一个无后悔的贝叶斯优化算法，它在没有核心参数的先验知识的情况下，可以收敛到最优点。通过在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，该算法可考虑更复杂的函数候选项。

Jan, 2019