本文研究深内核过程,利用 Wishart 分布作为变分近似后验,通过线性组合的 Bartlett 分解来进一步推广其分布,提高其预测性能。
May, 2023
本文介绍了深度高斯过程模型,该模型可用于稀少数据的拟合,以及通过贝叶斯方法进行模型选择。
Nov, 2012
本文研究神经网络和高斯过程之间的关系,证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时,利用高斯过程的边缘似然函数来调整神经网络的超参数,得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。
Jun, 2019
本文研究无限宽深层神经网络和高斯过程的等价性,提出一种计算高斯过程协方差函数的有效方法,并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断,在网络宽度增加时,训练神经网络的准确率和 GP 预测的不确定性分别增加,而有限宽度训练网络越接近 GP,测试性能越好,GP 预测通常优于有限宽度网络的预测,最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。
Nov, 2017
本论文针对深度高斯过程在计算机视觉领域应用时存在的挑战(例如卷积结构),提出了一种基于卷积核的卷积 DGP 模型(CDGP)来解决该问题,并在多类图像分类任务中表现出优越性能。
Jun, 2018
通过变换样本中的联合分布,Deep Transformed Gaussian Processes(DTGPs)构建了多层模型,每一层都是转换高斯过程,增加了模型的灵活性和可扩展性。通过使用变分推断来近似计算,该方法扩展了 DSVI 推断算法,实验证明在多个回归数据集上取得了良好的性能。
Oct, 2023
本研究研究了深度神经网络和高斯过程之间的联系,指出在广泛的条件下,随着体系结构越来越宽,隐含的随机函数在分布上会趋于高斯过程,并使用最大平均偏差评估收敛速率。最后,将贝叶斯深度网络与高斯过程进行比较,并从文献中回顾了非高斯替代模型。
Apr, 2018
提出了一种可解释的 DGPs 模型,通过计算精确矩来近似 DGPs,确定了某些 DGP 分布的重尾性质,并识别了 DGP 的表达能力参数,发现了 DGP 组合的非本地和非平稳相关性,并提供了推导二、三或无限层的有效核的通用方法。
May, 2019
这篇论文介绍了深高斯过程的概念,通过递归构建多个层级的高斯分布,定义了几类深高斯过程,探讨了深层结构的能量传递特性和 Markov 链的效应以及深高斯过程在计算机表示函数中的应用。
本文介绍了一种基于双随机变分推断的方法,用于深度高斯过程模型(Deep Gaussian processes)的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务,验证了其推断模型的实用性。
May, 2017