宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

MMApr, 2023

宽神经网络：从非高斯随机场的初始化到 NTK 训练几何

Wide neural networks: From non-gaussian random fields at initialization to the NTK geometry of training

Luís Carvalho, João Lopes Costa, José Mourão, Gonçalo Oliveira

TL;DR本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

Abstract

Recent developments in applications of artificial neural networks with over $n=10^{14}$ parameters make it extremely important to study the large $n$ behaviour of such networks. Most works studying wide neural networks have focused on the infinite width $n \to +\infty$ limit of such ne

artificial neural networks large n finite width gaussian processes training procedure

发现论文，激发创造

高斯过程对神经网络的非渐进逼近

本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率，说明了两种不同的情况：同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。

Feb, 2021

有限与无限神经网络：一项实证研究

通过实验证明了核方法优于限制宽度的全连接神经网络，并且证实 NNGP 内核经常优于 NT 内核，但它们的性能都受到正则化的影响。此外，作者提出了使用 NNGP 和 NT 内核进行预测的最佳实践方法，并在 CIFAR-10 分类任务中取得了最优结果。

Jul, 2020

有限宽度下的非高斯过程与神经网络

本文研究基于高斯过程的无限宽神经网络的有限宽度情况，通过积分消除随机变量实现层间激活分布的跟踪，推导出非高斯过程作为其先验，并发展了一种弱非高斯先验下的贝叶斯推断扰动程序。

Sep, 2019

关于超参数神经网络理论与实践之间的脱节

通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。

Sep, 2023

任意深度的宽神经网络在梯度下降下演化为线性模型

本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

Feb, 2019

神经切向核的有限深度和宽度修正

我们证明了在具有有限深度和宽度的随机初始化的 ReLU 网络中，神经切向核（NTK）的平均值和方差的精确缩放。

Sep, 2019

神经分类器无限宽度极限的一般理论探讨

本文提出一个新的框架，将两种不同的神经网络极限理论联系起来，并证明在有限宽度的情况下，离散时间均场极限比常数核极限更有效。

Mar, 2020

无限宽神经网络中的特征学习

研究表明，标准和 NTK 参数化的神经网络不能学习特征，这对于预训练和转移学习至关重要。通过修改标准参数化，使用 Tensor Programs 技术，我们计算了神经网络的极限，并发现其表现优于 NTK 基线和有限宽网络。

Nov, 2020

神经网络高斯过程的有限尺寸修正

研究使用高斯过程模拟神经网络的兴趣越来越浓厚，本研究针对具有单隐藏层的大规模有限完全连接网络展示了输出在初始化时的高斯分布，同时发现该扰动的尺度与神经网络单元的数量成反比例关系，高阶项逐渐衰减，进而回复到 Edgeworth 扩展的形式；最后观察到理解该扰动在训练期间如何改变，将有助于展示高斯过程框架在模拟神经网络行为时的适用范围。

Aug, 2019

深度稳定神经网络的无限宽度极限：次线性、线性和超线性激活函数

本研究探讨了具有稳定分布参数的深度神经网络的大宽度特性，结果表明稳定 NNs 的缩放和其无限宽极限的稳定性可能取决于激活函数的选择。

Apr, 2023