深度神经网络作为高斯过程

ICLRNov, 2017

Deep Neural Networks as Gaussian Processes

Jaehoon Lee, Yasaman Bahri, Roman Novak, Samuel S. Schoenholz, Jeffrey Pennington...

TL;DR本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Abstract

It has long been known that a single-layer fully-connected neural network with an i.i.d. prior over its parameters is equivalent to a Gaussian process (GP), in the limit of infinite network width. This correspondence enables exact bayesian inference for infinite width neural networks o

bayesian inference deep neural networks gaussian processes kernel functions signal propagation

发现论文，激发创造

近似推断将深度网络转化为高斯过程

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

宽深神经网络中的高斯过程行为

本研究研究了深度神经网络和高斯过程之间的联系，指出在广泛的条件下，随着体系结构越来越宽，隐含的随机函数在分布上会趋于高斯过程，并使用最大平均偏差评估收敛速率。最后，将贝叶斯深度网络与高斯过程进行比较，并从文献中回顾了非高斯替代模型。

Apr, 2018

具有多个通道的贝叶斯深度卷积网络是高斯过程

本文研究神经网络与高斯过程之间的等价性，并在卷积神经网络上实现了类似的等价性，提出了估计给定神经网络结构下对应高斯过程的蒙特卡罗方法，证实了在无池化层情况下，具有和不具有权重共享的卷积神经网络对应的高斯过程是相同的，表明了经过精心调整的随机梯度下降训练的卷积神经网络性能可以明显优于相应的高斯过程。

Oct, 2018

深度卷积网络作为浅层高斯过程

通过适当的神经网络权重和偏差的先验，证明（残差）卷积神经网络的输出在无限数量的卷积滤波器的极限下是高斯过程（GP），扩展了密集网络的类似结果。可以精确地计算 CNN 的等效核，不同于 “深度核” 只有少量的参数：只有原始 CNN 的超参数。与每层只有一个滤波器的原始 CNN 相比，对成对图像评估内核的成本类似于一次正向传递，这个内核等效于 32 层 ResNet，在 MNIST 上获得了 0.84％的分类错误，是具有可比数量的参数的 GPs 的新记录。

Aug, 2018

宽神经网络作为高斯过程：深度平衡模型的教训

当 DEQ 层的宽度趋近于无穷大时，它收敛到一个高斯过程，建立了所谓的神经网络和高斯过程 (NNGP) 的对应关系，这种收敛甚至在深度和宽度的极限互换的情况下也成立，这些发现为研究 DEQ 的训练和泛化提供了基础，为未来的研究奠定了基础。

Oct, 2023

深高斯过程

本文介绍了深度高斯过程模型，该模型可用于稀少数据的拟合，以及通过贝叶斯方法进行模型选择。

Nov, 2012

在无限宽度极限下探究神经网络隐式先验的不确定性特性

本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

Oct, 2020

带瓶颈的宽神经网络是深高斯过程

本文探讨了存在 “瓶颈” 的 BNNs 的宽限制，其中一些隐藏层被保持在有限宽度，结果是一种高斯过程的组合，我们称之为 “瓶颈神经网络高斯过程”（bottleneck NNGP），并分析了单个瓶颈 NNGP 的理论，发现瓶颈在极端深度通过产生输出之间的相关性，并防止网络的内核在极端深度失去区分能力。

Jan, 2020

基于图神经网络的高斯过程半监督学习核函数

本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中，以优化其在图结构数据上的预测表现，并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法，通过这些基于图的协方差矩阵，与相应的图神经网络相比，具有相似的分类和回归性能以及计算时间上的优势。

Feb, 2023

条件神经过程

本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

Jul, 2018