核回归中的泛化误差率：从无噪音到有噪音的转变

May, 2021

核回归中的泛化误差率：从无噪音到有噪音的转变

Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime

Hugo Cui, Bruno Loureiro, Florent Krzakala, Lenka Zdeborová

TL;DR本研究旨在探讨在高斯设计下的核岭回归 (KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。

Abstract

In this manuscript we consider kernel ridge regression (KRR) under the gaussian design. Exponents for the decay of the excess generalization error of KRR have been reported in various works under the assumption o

kernel ridge regression gaussian design excess error decay regularization noisy setting

发现论文，激发创造

噪声无关情况下核岭回归的对偶分析

我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

Feb, 2024

核岭回归在幂律衰减下的渐近学习曲线

在这篇论文中，我们在温和且更现实的假设下，对学习曲线进行了全面的描述，详细阐述了正则化参数、源条件和噪声的选择对学习曲线的影响和相互作用。特别地，我们的结果表明，在噪声水平较小时，' 良性过拟合现象 ' 只存在于非常宽的神经网络中。

Sep, 2023

基于现实假设的核回归泛化

对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

Dec, 2023

谱算法的泛化误差

研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

Mar, 2024

高维核回归：超越双谷现象的细致分析

该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征，揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

Oct, 2020

（核）岭回归过拟合成本的无神论观点

本文通过分析基于高斯全局性假设的非严谨风险估计来探究噪声核岭回归中过拟合的代价，并对其进行了更精细的分类：良性、温和和灾难性过拟合。

Jun, 2023

分析谱算法在幂律衰减下的泛化误差曲线

通过分析核回归方法的泛化误差曲线，提供了大量分析谱算法和核梯度下降方法的泛化误差曲线的全面特征描述，进而深化了核插值的不一致性和高资格核回归算法的饱和效应等的理解，这些结果极大地改善了我们对训练宽神经网络泛化行为的认识。值得独立关注的新技术贡献是分析函数论证。

Jan, 2024

高维条件下核岭回归的最优速率

通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。

Jan, 2024

通过特征谱分析核无背脊回归中的过拟合特性

我们推导了核矩阵条件数的新界限，并利用它来增强固定输入维度下过参数化区域中核岭回归的非渐近测试误差界限。对于具有多项式谱衰减的核函数，我们得到了先前工作中的界限；对于指数衰减，我们的界限是非平凡和新颖的。我们关于过拟合的结论有两个方面：（i）具有多项式衰减特征谱的核回归器必须很好地概括，即使在存在有噪声标记的训练数据的情况下也是如此；这些模型表现出所谓的有限过拟合；（ii）如果任何核岭回归器的特征谱呈指数衰减，则它概括能力较差，即表现出灾难性过拟合。这进一步为核岭回归器表现出良性过拟合提供了可用的表征，其中核函数的特征谱以次多项式衰减。我们的分析将新的随机矩阵理论（RMT）技术与核岭回归（KRR）文献中的最新工具相结合。

Feb, 2024

一种核岭回归的非渐进理论：确定性等效、测试误差和 GCV 估计器

通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

Mar, 2024