本文提出了一种基于广义高斯牛顿近似方法的贝叶斯神经网络预测方法，将原始预测模型线性化为广义线性模型（GLM）后，用于后验推理和预测中，解决了拉普拉斯近似方法下的欠拟合问题。在多个标准分类数据集上以及外部分布检测中得到了验证。

Aug, 2020

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

提出了一种新颖的、基于高斯马尔可夫随机场并利用多层结构的深度高斯马尔可夫随机场模型，该模型在大规模图数据上具有良好的可扩展性和灵活性，并利用变分推断的方法进行高效训练和预测。在多个实验数据集上，该模型都表现出了比其他贝叶斯和深度学习方法更好的性能表现。

Jun, 2022

通过打开 Deep Learning 在投资组合优化中的黑匣子，我们证明一个足够宽且任意深的神经网络（DNN）在最大化随机折现因子（SDF）的夏普比率时等效于一个大型因子模型（LFM）：一个使用许多非线性特征的线性因子定价模型。这些特征的性质取决于 DNN 的架构，可以明确地进行处理。这使得我们首次能够以闭合形式推导出端到端训练的基于 DNN 的 SDF。我们通过实证评估了 LFM，并展示了各种架构选择如何影响 SDF 的性能。我们记录了深度复杂性的优势：有足够的数据量时，DNN-SDF 在深度神经网络（NN depth）中的外样本表现随着深度的增加而增强，在约 100 个隐藏层的巨大深度饱和。

Jan, 2024

本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Jun, 2015

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络，该网络使用随机过程来定义 ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

Mar, 2019

本文研究如何使用神经网络作为替代高斯过程的方法建立函数分布模型，以实现高效的贝叶斯优化方法并应用于大规模超参数优化，通过卷积网络和神经语言模型在基准目标识别任务和图像描述生成方面实现了优异的效果。

Feb, 2015

本文提出了一种称为深度函数机器（DFMs）的深度神经网络的概括，DFMs 作用于任意维度（可能是无限）的向量空间，并证明了一族 DFMs 对于输入数据的维度是不变的。使用这一概括，我们提出了一个新的理论，即有界非线性算子在函数空间之间的通用逼近。然后，我们建议 DFMs 提供了一种表达架构，用于以拓扑考虑为基础设计新的神经网络层类型，最后介绍了一种新的架构 RippLeNet，以实现具有分辨率不变性的计算机视觉，并在实践中取得了最先进的不变性。

Dec, 2016

本文介绍了一种用于分析高维功能时间序列的贝叶斯非参数模型 Deep Functional Factor Model (DF2M)，使用印度 Buffet 过程和多任务高斯过程以及深核函数来捕捉非马尔可夫和非线性时间动力学，并结合深度神经网络，提供了一种可解释的方法，同时开发了有效的变分推理算法进行 DF2M 推断，在四个真实数据集上的实证结果表明，与传统的深度学习模型相比，DF2M 模型具有更好的可解释性和卓越的预测精度。

May, 2023