贝叶斯神经网络代理在贝叶斯优化中的研究
研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。
Apr, 2021
本文研究如何使用神经网络作为替代高斯过程的方法建立函数分布模型，以实现高效的贝叶斯优化方法并应用于大规模超参数优化，通过卷积网络和神经语言模型在基准目标识别任务和图像描述生成方面实现了优异的效果。
Feb, 2015
本文提出了一种基于贝叶斯神经网络的优化框架，专门针对数据密集型环境中多目标优化的局限性进行了优化，实现了对大量数据的有效处理和复杂问题的建模，并展示了其在航空动力学和彩色印刷两个领域的应用和有效性。
Jun, 2023
通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。
Sep, 2019
采用拟贝叶斯优化的框架，通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，有效地优化高维度的综合实验、超参数调整和机器人应用的例子中胜过最先进的基准测试。
Oct, 2023
本文提出一种基于 Bayesian 图神经网络作为新的代理函数的方法，能够自动提取深度神经架构中的特征，并使用学到的特征来拟合和表征黑箱目标及其不确定性，将其用于应对深度神经架构搜索的挑战性任务，实验结果表明该方法在基准任务上明显优于比较方法。
May, 2019
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。
Oct, 2021
通过将贝叶斯神经网络与传统机器学习算法（如随机森林、梯度提升、支持向量机）协同集成的一种新方法，强调了特征集成在优化中的重要性，包括优化的二阶条件，如哈西矩阵的定态性和正定性。与此相反，超参数调整对于改善预期改进（EI (x)）的影响有所削弱。总体而言，集成方法作为一种稳健的、算法优化的方法表现出色。
Oct, 2023
本文提出了一种称为神经过程贝叶斯优化的通用黑盒模型优化算法，通过使用神经过程作为代理模型来提高效率和准确性，在功率系统参数优化问题和七个基准贝叶斯优化问题上的比较均表明该算法的性能优于其他四个基准算法。
Apr, 2021