采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。

Oct, 2023

本文提出了一种利用基于置信度的分位数回归的超参数优化算法，相较于传统高斯过程模型，它能够更加真实和鲁棒地建模目标函数，加速超参数优化过程，并在多保真度场景下比传统方法表现更好。

May, 2023

通过将贝叶斯神经网络与传统机器学习算法（如随机森林、梯度提升、支持向量机）协同集成的一种新方法，强调了特征集成在优化中的重要性，包括优化的二阶条件，如哈西矩阵的定态性和正定性。与此相反，超参数调整对于改善预期改进（EI (x)）的影响有所削弱。总体而言，集成方法作为一种稳健的、算法优化的方法表现出色。

Oct, 2023

本文研究了三个软件 Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM 和 Catboost 的 GPU 加速性能以及在超参数优化方面的比较，并注意到 GBDTs 的许多超参数需手动调整或自动优化，以达到最佳预测能力。

Sep, 2018

本文提出了一种基于贝叶斯优化的机器学习集成方法，通过优化固定大小组成的集成分类器的每个分类器的超参数配置，考虑了与其他模型的交互作用来评估性能，表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。

May, 2016

本论文提出了一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。

Jun, 2023

本研究通过对 Extreme Gradient Boosting (XGBoost) 的改进，使用修正后的分位数回归作为目标函数以估计不确定性 (QXGBoost)，并将其应用于预测间隔的创建，并将其应用于一个模拟数据集和一个实际环境数据集中的测量交通噪声，结果表明该方法在预测间隔方面的整体性能要优于其他基于覆盖范围准则的模型。

Apr, 2023

本研究提出了一种新的确定性和高效的超参数优化方法，该方法采用径向基函数作为误差代理，通过动态坐标搜索来搜索最有前途的超参数值，并且需要更少的函数评估，从而在 MNIST 和 CIFAR-10 数据集的四个深度神经网络上取得了极好的表现，平均而言，HORD 比 GP-EI 获得 19 个超参数的最佳配置要快 6 倍以上。

Jul, 2016

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

比较了四种梯度提升方法在一些真实数据集上的表现，着重考虑超参数优化策略，并尝试找到一种具有效果、可靠性和易用性的梯度提升算法。

May, 2023