核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化

MMJun, 2020

核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化

Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks

Abdulkadir Canatar, Blake Bordelon, Cengiz Pehlevan

TL;DR探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

Abstract

generalization beyond a training dataset is a main goal of machine learning, but theoretical understanding of generalization remains an op

generalization machine learning kernel regression neural networks inductive bias

发现论文，激发创造

神经网络贝叶斯推断中的数据变异理论

基于无限宽度神经网络的高斯过程，并结合内核和推理方法，构建了一个场论的形式体系，研究了无限宽度网络的泛化性质，并从输入数据的统计性质得到了泛化性质的提取。

Jul, 2023

了解深度学习需要了解核学习

研究表明深度学习和浅层核方法在过拟合问题上表现相似，而不是泛化性能高的唯一因素，因此需要更深入地研究浅层核方法，以更好地理解深度学习。

Feb, 2018

基于现实假设的核回归泛化

对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

Dec, 2023

核回归和宽神经网络中的频谱相关的学习曲线

通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解，我们确定了一个新的谱原理：随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时，点积核，包括 NTK，显示出学习阶段，其中学习不同频率模式的目标函数。通过对合成数据和 MNIST 数据集的模拟，我们验证了我们的理论。

Feb, 2020

谱算法的泛化误差

研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

Mar, 2024

高维神经切向核：三倍下降与广义化的多尺度理论

深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

Aug, 2020

深度学习的快速学习率：从核视角

本文提出了一种新的理论框架来分析深度学习的泛化误差，推导了代表性算法（经验风险最小化和贝叶斯深度学习）的新的快速学习率，并且发现在有限维度的近似模型中存在偏差 - 方差权衡。

May, 2017

分析谱算法在幂律衰减下的泛化误差曲线

通过分析核回归方法的泛化误差曲线，提供了大量分析谱算法和核梯度下降方法的泛化误差曲线的全面特征描述，进而深化了核插值的不一致性和高资格核回归算法的饱和效应等的理解，这些结果极大地改善了我们对训练宽神经网络泛化行为的认识。值得独立关注的新技术贡献是分析函数论证。

Jan, 2024

多任务深度神经分类器中的泛化问题：基于统计物理学的方法

本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

Oct, 2019

线性化神经网络在泛化方面的实际表现

该论文通过对神经网络和它们的线性近似在不同任务上的行为进行系统比较，提供了强有力的实证证据来确定近似的实际有效性，发现网络并不总是表现优于其核近似，并揭示了性能差距很大程度上取决于网络架构、数据集大小和训练任务。此外，研究发现网络在训练过程中出现过拟合的原因是其核的演化。由此揭示了一种新的隐式偏差现象。

Jun, 2021