过参数化神经网络的一致泛化界

Sep, 2021

Uniform Generalization Bounds for Overparameterized Neural Networks

Sattar Vakili, Michael Bromberg, Jezabel Garcia, Da-shan Shiu, Alberto Bernacchia

TL;DR本文介绍了神经网络中过度参数化情况下的泛化误差及其相关的新理论，即神经切向核理论，通过该理论的信息获取量计算出学习问题的复杂度并证明了泛化误差的上界，同时讨论了该理论对于强化学习领域的应用。

Abstract

An interesting observation in artificial neural networks is their favorable generalization error despite typically being extremely overparameterized. It is well known that the classical statistical learning metho

neural networks generalization error neural tangent kernel theory information gain reinforcement learning

发现论文，激发创造

关于过拟合两层神经切向核模型的泛化能力

本文研究具有 ReLU 激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的 min（L2）-norm 过拟合解的泛化性能，并显示随着神经元数目 p 的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的 “双峰现象” 的特征。

Mar, 2021

神经切向核方法的神经网络修正

使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

Jul, 2020

正则化的重要性：神经网络的泛化和优化与其引导的核函数

通过研究多层前馈 ReLU 神经网络、交叉熵损失函数、核方法等工具，我们发现标准 l2 正则化器在实际应用中具有很大优越性，并且通过构造一个简单的 d 维数据集，我们证明了有正则化器的神经网络只需要 O (d) 的数据集就能训练成功，而对于无正则化器的 NTK 神经网络，则需要至少 Omega (d^2) 的数据才能训练成功。同时，我们还证明了无限宽度的两层神经网络能够通过有噪音的梯度下降优化正则化器，并且能够得到全局最优解。

Oct, 2018

深度宽神经网络的统计最优性

本文研究了深度神经网络的泛化能力问题，探讨了其与神经切向核回归的关系，并分析了核的谱性质，得出了多层宽神经网络使用梯度下降等算法在早期停止时能够获得最佳性能的结论。

May, 2023

神经正切核：神经网络的收敛性和泛化性

本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

Jun, 2018

受限的、过参数化的、两层神经网络的学习

利用路径范数和巴伦范数建立了适合于过参数化的两层神经网络的函数空间，并证明了度量熵和一般化界限方面的改进结果。

Apr, 2024

超越线性化：关于宽神经网络的二次及高阶逼近

该研究探讨了超参数化神经网络的训练，通过随机化神经网络，使其模型不再受限于 NTK，允许其与二次模型进行耦合，并且证明了产生的随机网络的优化具有良好的局面性态，且样本复杂度与 NTK 相匹配，同时在分布特定条件下可更为优秀。

Oct, 2019

探究过度参数化在神经网络泛化中的作用

本研究提出了基于单元能力的复杂度度量，为两层 ReLU 网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的 Rademacher 复杂性下限，该下限优于之前神经网络的容量下限。

May, 2018

大偏差下宽神经网络的收敛性和泛化性

该研究通过神经切向核（NTK）模式下的梯度下降探讨了训练一层过度参数化的 ReLU 网络，其中网络的偏置被初始化为某个常量而不是零。该初始化的诱人好处是神经网络将可以在整个训练过程中保持稀疏激活，从而实现快速训练。结果表明，在稀疏化后，网络可以实现与密集网络一样快的收敛速度。其次，提供了宽度稀疏性的相关性，给出了一个稀疏性相关的 Rademacher 复杂度和泛化性能界限。最后，研究了极限 NTK 的最小特征值，发现可以使用可训练偏置来提高推广性。

Jan, 2023

神经网络超参数化区域之外的新型核模型和精确表示器理论

这篇论文提出了两种适用于任意宽度、深度和拓扑结构的神经网络的模型及其训练方法，假设神经激活仅存在有限能量，并提出了一种基于矩阵核的神经网络的新颖表达器理论。其中，第一种模型是精确的且全局的模型，将神经网络看作是再生核 Banach 空间中的元素；第二种模型是精确的且局部的模型，将神经网络函数的变化建模为权重和偏差（即训练步骤）在再生核 Hilbert 空间中的局部内在神经核。该局部模型通过对网络自适应的 Rademacher 复杂度提供洞察力。此外，还证明了神经切向核 (NTK) 是局部内在神经核的一阶近似。最后，针对技术原因，本论文提出了一个准确的新颖表达器理论，用于层间神经网络在未正则化梯度下降的情况下进行训练，该理论基于局部外在神经核 (LeNK)。该表达器理论揭示了神经网络训练中高阶统计量的作用以及核演化对神经网络核模型的影响。在整篇论文中，使用前馈 ReLU 网络和残差网络 (ResNet) 作为说明性例子。

May, 2024