一种统一的高斯过程用于分支和嵌套超参数优化

Jan, 2024

一种统一的高斯过程用于分支和嵌套超参数优化

A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization

Jiazhao Zhang, Ying Hung, Chung-Ching Lin, Zicheng Liu

TL;DR基于新的高斯过程模型和具有新内核函数的统一贝叶斯优化框架，通过一系列合成模拟和实际数据应用的神经网络，观察到更高的预测准确性和更好的优化效率，并执行敏感性分析以提供有关超参数值变化如何影响预测准确性的见解。

Abstract

Choosing appropriate hyperparameters plays a crucial role in the success of neural networks as hyper-parameters directly control the behavior and performance of the training algorithms. To obtain efficient tuning, Bayesian optimization methods based on Gaussian process (GP) models are

hyperparameters bayesian optimization gaussian process models branching parameters nested parameters

发现论文，激发创造

机器学习算法的实用贝叶斯优化

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

贝叶斯框架下的黑箱模型优化神经过程

本文提出了一种称为神经过程贝叶斯优化的通用黑盒模型优化算法，通过使用神经过程作为代理模型来提高效率和准确性，在功率系统参数优化问题和七个基准贝叶斯优化问题上的比较均表明该算法的性能优于其他四个基准算法。

Apr, 2021

可扩展贝叶斯优化算法：基于深度神经网络

本文研究如何使用神经网络作为替代高斯过程的方法建立函数分布模型，以实现高效的贝叶斯优化方法并应用于大规模超参数优化，通过卷积网络和神经语言模型在基准目标识别任务和图像描述生成方面实现了优异的效果。

Feb, 2015

具有无偏高斯过程超参数估计的可证明高效的贝叶斯优化

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023

高斯过程和贝叶斯优化在金融应用中的作用

本文探讨了高斯过程和贝叶斯优化这两种方法在金融建模中的应用，特别是在利率期限结构建模和趋势跟踪策略中的运用。

Mar, 2019

可扩展的深度学习嵌套优化

梯度下降优化在机器学习的成功中起到了关键作用，本研究论文聚焦于嵌套优化问题，特别是超参数优化和生成对抗网络；然而，在大规模求解嵌套问题时，经典方法往往表现不佳，因此我们针对深度学习环境构建了可扩展的嵌套优化工具。

Jul, 2024

伪贝叶斯优化

采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

迭代学习的贝叶斯优化

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019

预训练高斯过程用于贝叶斯优化

本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

Sep, 2021

高维输出的贝叶斯优化

该论文介绍了一种使用多任务高斯过程模型和克罗内克结构的精确采样技术的黑盒优化方法，可用于多个相关目标的优化，并可应用于涉及成千上万个相关输出的任务，从而实现了与现有方法相比较大的样本效率提高。

Jun, 2021