基于集成的贝叶斯神经网络和传统机器学习算法的混合优化

Oct, 2023

基于集成的贝叶斯神经网络和传统机器学习算法的混合优化

Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms

Peiwen Tan

TL;DR通过将贝叶斯神经网络与传统机器学习算法（如随机森林、梯度提升、支持向量机）协同集成的一种新方法，强调了特征集成在优化中的重要性，包括优化的二阶条件，如哈西矩阵的定态性和正定性。与此相反，超参数调整对于改善预期改进（EI (x)）的影响有所削弱。总体而言，集成方法作为一种稳健的、算法优化的方法表现出色。

Abstract

This research introduces a novel methodology for optimizing Bayesian Neural Networks (BNNs) by synergistically integrating them with traditional machine learning algorithms such as random forests (RF), gradient boosting

bayesian neural networks random forests gradient boosting support vector machines ensemble method

发现论文，激发创造

用于集成学习的贝叶斯超参数优化

本文提出了一种基于贝叶斯优化的机器学习集成方法，通过优化固定大小组成的集成分类器的每个分类器的超参数配置，考虑了与其他模型的交互作用来评估性能，表明该方法比最佳单个模型和标准贝叶斯优化生成的模型的贪心集成构造更好。

May, 2016

针对网络入侵检测数据集特征调整的集成分类器设计

本文针对 UNSW-NB15 数据集的类不平衡和特征空间中的类重叠问题，提出了一种机器学习分类器的数据驱动设计和性能评估方法，其中使用 Balanced Bagging、eXtreme Gradient Boosting、Hellinger Distance Decision Tree 等集成方法来解决不平衡数据问题，提出了两种新的算法来解决类重叠问题，并提高了测试数据的分类性能。实验证明，相比已有技术，该方法在二元和多种情况下均有显著优势。

May, 2022

Hyperboost: 通过梯度增强替代模型进行超参数优化

本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

Jan, 2021

贝叶斯神经网络代理在贝叶斯优化中的研究

研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

May, 2023

顺序模型基于集成优化

本文提出了一种新的基于 SMBO 和贝叶斯学习的自动构建学习模型合集的方法，实验证明其优于传统的 SMBO 方法在回归以及分类数据集上的表现。

Feb, 2014

神经网络的不确定性：近似贝叶斯集成

该论文介绍了一种基于贝叶斯原理的神经网络反演方法，利用对先验分布采样的数据正则化参数，从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析，该方法相对于传统的平均集成技术具有更好的性能表现。

Oct, 2018

利用机器学习算法进行贝叶斯优化以实现异常检测

该研究提出了使用贝叶斯优化技术来调节支持向量机、随机森林和 k - 最近邻算法参数的异常检测框架，并使用 ISCX 2012 数据集评估了这些算法的性能，结果显示该框架在准确率、精度、误报率和召回率方面具有显著效果。

Aug, 2020

机器学习算法的实用贝叶斯优化

本研究基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化机器学习算法的超参数调整，作者提出可以超过经验人类调参表现的自动算法，并介绍收集实验信息、利用多核心并行实验等新算法。

Jun, 2012

大数据集机器学习超参数的快速贝叶斯优化

提出了一种基于生成模型的贝叶斯优化方法，通过学习验证误差关于训练集大小的函数，并在小的子集上进行预先配置的探索，从而加速超参数优化，并且可以自动平衡全局最优解的信息增益与计算成本。实验结果表明，该方法比现有的另外两种贝叶斯优化方法和一种最近提出的 Hyperband 策略都要更快地找到高质量解。

May, 2016

迭代学习的贝叶斯优化

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019