核回归和宽神经网络中的频谱相关的学习曲线

ICMLFeb, 2020

核回归和宽神经网络中的频谱相关的学习曲线

Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks

Blake Bordelon, Abdulkadir Canatar, Cengiz Pehlevan

TL;DR通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解，我们确定了一个新的谱原理：随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时，点积核，包括 NTK，显示出学习阶段，其中学习不同频率模式的目标函数。通过对合成数据和 MNIST 数据集的模拟，我们验证了我们的理论。

Abstract

We derive analytical expressions for the generalization performance of kernel regression as a function of the number of training samples using theoretical methods from Gaussian processes and statistical physics. Our expressions apply to wide neural networks due to an equivalence betwee

kernel regression neural tangent kernel generalization performance spectral principle learning stages

发现论文，激发创造

神经频谱对齐：实证研究

本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数

Oct, 2019

神经网络的细粒度光谱分析

本文从谱的角度研究共轭内核（Conjugate Kernel，CK）和神经切向内核（Neural Tangent Kernel，NTK）的特性，分析它们的特征值，得出关于神经网络的初始化分布和训练、泛化特性等问题的新见解，并通过广泛的神经网络实验验证这些见解。

Jul, 2019

核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化

探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

Jun, 2020

深度宽神经网络的统计最优性

本文研究了深度神经网络的泛化能力问题，探讨了其与神经切向核回归的关系，并分析了核的谱性质，得出了多层宽神经网络使用梯度下降等算法在早期停止时能够获得最佳性能的结论。

May, 2023

谱算法的泛化误差

研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

Mar, 2024

神经切向核方法的神经网络修正

使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

Jul, 2020

神经网络中对非均匀密度输入的频率偏差

本文使用神经切向核（NTK）模型研究变量密度对训练动态的影响，结果表明在学习频率为 k 的纯谐波函数时，对于数据在 S^1 上，收敛点 x 的时间复杂度为 O (k^d/p (x))，其中 p (x) 表示 x 处的局部密度。

Mar, 2020

分析谱算法在幂律衰减下的泛化误差曲线

通过分析核回归方法的泛化误差曲线，提供了大量分析谱算法和核梯度下降方法的泛化误差曲线的全面特征描述，进而深化了核插值的不一致性和高资格核回归算法的饱和效应等的理解，这些结果极大地改善了我们对训练宽神经网络泛化行为的认识。值得独立关注的新技术贡献是分析函数论证。

Jan, 2024

自动化谱核学习

本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架，还导出了一个基于 Rademacher 复杂度的数据相关推广误差界，并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。

Sep, 2019

神经正切核：神经网络的收敛性和泛化性

本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

Jun, 2018