本文介绍了对高斯神经网络的一些非症态量化高斯逼近，用一些流行距离（如 $1$-Wasserstein 距离、总变分距离和 Kolmogorov-Smirnov 距离）量化逼近误差，这依赖于二阶高斯 Poincaré 不等式提供的非常紧密的逼近误差估计，有最佳的速率。这是二阶高斯 Poincaré 不等式的一项新应用，在概率文献中被认为是获得高斯随机过程一般泛函的高斯逼近的有力工具。还讨论了到深层高斯神经网络的推广。

Apr, 2023

本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

Apr, 2023

我们研究了具有随机初始化参数和修正线性单元激活函数的大类浅层神经网络，并证明了这些随机神经网络是良定义的非高斯过程，由脉冲白噪声（随机狄拉克测度的组合）驱动的随机微分方程的解。这些过程由权重和偏置的分布以及输入域中每个有界区域中激活阈值的密度所参数化。我们证明这些过程是等向的，同时具有 Hurst 指数为 3/2 的广义自相似性，并导出了它们的自协方差函数的一个非常简单的闭式表达式。我们的结果从非渐近的视角来看与先前的工作有本质不同：输入域中每个有界区域（即宽度）的神经元数量本身是一个具有泊松分布的随机变量，并且其均值与密度参数成比例。最后，我们证明在适当的假设下，当期望宽度趋于无穷大时，这些过程除了能收敛到高斯过程外，还能收敛到依赖于权重分布的非高斯过程。我们的渐近结果提供了一种新的方法来看待几个经典结果（宽网络收敛到高斯过程）以及一些新结果（宽网络可以收敛到非高斯过程）。

May, 2024

本文研究基于高斯过程的无限宽神经网络的有限宽度情况，通过积分消除随机变量实现层间激活分布的跟踪，推导出非高斯过程作为其先验，并发展了一种弱非高斯先验下的贝叶斯推断扰动程序。

Sep, 2019

本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

Feb, 2019

研究使用高斯过程模拟神经网络的兴趣越来越浓厚，本研究针对具有单隐藏层的大规模有限完全连接网络展示了输出在初始化时的高斯分布，同时发现该扰动的尺度与神经网络单元的数量成反比例关系，高阶项逐渐衰减，进而回复到 Edgeworth 扩展的形式；最后观察到理解该扰动在训练期间如何改变，将有助于展示高斯过程框架在模拟神经网络行为时的适用范围。

Aug, 2019

本研究研究了深度神经网络和高斯过程之间的联系，指出在广泛的条件下，随着体系结构越来越宽，隐含的随机函数在分布上会趋于高斯过程，并使用最大平均偏差评估收敛速率。最后，将贝叶斯深度网络与高斯过程进行比较，并从文献中回顾了非高斯替代模型。

Apr, 2018

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

Jul, 2021

本研究探讨了具有稳定分布参数的深度神经网络的大宽度特性，结果表明稳定 NNs 的缩放和其无限宽极限的稳定性可能取决于激活函数的选择。

Apr, 2023