May, 2024
神经网络超参数化区域之外的新型核模型和精确表示器理论
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime
Alistair Shilton, Sunil Gupta, Santu Rana, Svetha Venkatesh
TL;DR这篇论文提出了两种适用于任意宽度、深度和拓扑结构的神经网络的模型及其训练方法，假设神经激活仅存在有限能量，并提出了一种基于矩阵核的神经网络的新颖表达器理论。其中，第一种模型是精确的且全局的模型，将神经网络看作是再生核 Banach 空间中的元素；第二种模型是精确的且局部的模型，将神经网络函数的变化建模为权重和偏差（即训练步骤）在再生核 Hilbert 空间中的局部内在神经核。该局部模型通过对网络自适应的 Rademacher 复杂度提供洞察力。此外，还证明了神经切向核 (NTK) 是局部内在神经核的一阶近似。最后，针对技术原因，本论文提出了一个准确的新颖表达器理论，用于层间神经网络在未正则化梯度下降的情况下进行训练，该理论基于局部外在神经核 (LeNK)。该表达器理论揭示了神经网络训练中高阶统计量的作用以及核演化对神经网络核模型的影响。在整篇论文中，使用前馈 ReLU 网络和残差网络 (ResNet) 作为说明性例子。