Feb, 2024
通过特征谱分析核无背脊回归中的过拟合特性
Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum
Tin Sum Cheng, Aurelien Lucchi, Anastasis Kratsios, David Belius
TL;DR我们推导了核矩阵条件数的新界限，并利用它来增强固定输入维度下过参数化区域中核岭回归的非渐近测试误差界限。对于具有多项式谱衰减的核函数，我们得到了先前工作中的界限；对于指数衰减，我们的界限是非平凡和新颖的。我们关于过拟合的结论有两个方面：（i）具有多项式衰减特征谱的核回归器必须很好地概括，即使在存在有噪声标记的训练数据的情况下也是如此；这些模型表现出所谓的有限过拟合；（ii）如果任何核岭回归器的特征谱呈指数衰减，则它概括能力较差，即表现出灾难性过拟合。这进一步为核岭回归器表现出良性过拟合提供了可用的表征，其中核函数的特征谱以次多项式衰减。我们的分析将新的随机矩阵理论（RMT）技术与核岭回归（KRR）文献中的最新工具相结合。