利用二阶 Poincaré 不等式对高斯神经网络进行非渐近逼近

Apr, 2023

利用二阶 Poincaré 不等式对高斯神经网络进行非渐近逼近

Non-asymptotic approximations of Gaussian neural networks via second-order Poincaré inequalities

Alberto Bordino, Stefano Favaro, Sandra Fortini

TL;DR本文介绍了对高斯神经网络的一些非症态量化高斯逼近，用一些流行距离（如 $1$-Wasserstein 距离、总变分距离和 Kolmogorov-Smirnov 距离）量化逼近误差，这依赖于二阶高斯 Poincaré 不等式提供的非常紧密的逼近误差估计，有最佳的速率。这是二阶高斯 Poincaré 不等式的一项新应用，在概率文献中被认为是获得高斯随机过程一般泛函的高斯逼近的有力工具。还讨论了到深层高斯神经网络的推广。

Abstract

There is a growing interest on large-width asymptotic properties of Gaussian neural networks (NNs), namely NNs whose weights are initialized according to Gaussian distributions. A well-established result is that, as the width goes to infinity, a Gaussian NN converges in distribution to a Gaussian stochastic process, which provides an asymptotic or qualitativ

gaussian neural networks asymptotic convergence quantitative gaussian approximation wasserstein distance second-order gaussian poincaré inequalities

发现论文，激发创造

高斯过程对神经网络的非渐进逼近

本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率，说明了两种不同的情况：同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。

Feb, 2021

宽随机神经网络高斯随机场逼近的斯坦方法应用

该研究基于 Stein 方法，利用一种新颖的高斯平滑技术，构建使用拉普拉斯算子幂的协方差函数，推导出任意连续 n - 球索引的随机场到高斯随机场的 Wasserstein 距离的上界，可以进一步推广到复杂的神经网络模型中。

Jun, 2023

宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

Apr, 2023

神经网络高斯过程的有限尺寸修正

研究使用高斯过程模拟神经网络的兴趣越来越浓厚，本研究针对具有单隐藏层的大规模有限完全连接网络展示了输出在初始化时的高斯分布，同时发现该扰动的尺度与神经网络单元的数量成反比例关系，高阶项逐渐衰减，进而回复到 Edgeworth 扩展的形式；最后观察到理解该扰动在训练期间如何改变，将有助于展示高斯过程框架在模拟神经网络行为时的适用范围。

Aug, 2019

深度神经网络中的定量中心极限定理

研究具有随机高斯权重和偏差的全连接神经网络的分布，其中隐藏层宽度与大常数 $n$ 成比例，并获得在有限但大的 $n$ 和任意固定网络深度下有效的正常近似的定量界限。

Jul, 2023

随机 ReLU 神经网络作为非高斯过程

我们研究了具有随机初始化参数和修正线性单元激活函数的大类浅层神经网络，并证明了这些随机神经网络是良定义的非高斯过程，由脉冲白噪声（随机狄拉克测度的组合）驱动的随机微分方程的解。这些过程由权重和偏置的分布以及输入域中每个有界区域中激活阈值的密度所参数化。我们证明这些过程是等向的，同时具有 Hurst 指数为 3/2 的广义自相似性，并导出了它们的自协方差函数的一个非常简单的闭式表达式。我们的结果从非渐近的视角来看与先前的工作有本质不同：输入域中每个有界区域（即宽度）的神经元数量本身是一个具有泊松分布的随机变量，并且其均值与密度参数成比例。最后，我们证明在适当的假设下，当期望宽度趋于无穷大时，这些过程除了能收敛到高斯过程外，还能收敛到依赖于权重分布的非高斯过程。我们的渐近结果提供了一种新的方法来看待几个经典结果（宽网络收敛到高斯过程）以及一些新结果（宽网络可以收敛到非高斯过程）。

May, 2024

共享权重的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切向核导出

本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

Feb, 2019

多层随机特征和神经网络的逼近能力

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

深度神经网络近似理论

本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

Jan, 2019

深度稳定神经网络的无限宽度极限：次线性、线性和超线性激活函数

本研究探讨了具有稳定分布参数的深度神经网络的大宽度特性，结果表明稳定 NNs 的缩放和其无限宽极限的稳定性可能取决于激活函数的选择。

Apr, 2023