一种核岭回归的非渐进理论：确定性等效、测试误差和 GCV 估计器

Mar, 2024

一种核岭回归的非渐进理论：确定性等效、测试误差和 GCV 估计器

A non-asymptotic theory of Kernel Ridge Regression: deterministic equivalents, test error, and GCV estimator

Theodor Misiakiewicz, Basil Saeed

TL;DR通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

Abstract

We consider learning an unknown target function $f_*$ using kernel ridge regression (KRR) given i.i.d. data $(u_i,y_i)$, $i\leq n$, where $u_i \in U$ is a covariate vector and $y_i = f_* (u_i) +\varepsilon_i \in \mathbb{R}$. A recent string of work has empirically shown that the test error of KRR can be well approximated by a closed-form estimate derived fro

kernel ridge regression equivalence spectral properties deterministic approximation generalized cross-validation

发现论文，激发创造

噪声无关情况下核岭回归的对偶分析

我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

Feb, 2024

无维度确定性随机特征回归的等效

我们研究了随机特征岭回归（RFRR）的泛化性能，并提供了其测试误差的一般确定性等价物。具体而言，在一定的集中性质下，我们表明测试误差可以用一个闭式表达式来良好近似，该表达式仅依赖于特征映射的特征值。值得注意的是，我们的近似保证是非渐近的、乘性的，并且与特征映射的维度无关，允许无限维特征。我们预期这个确定性等价物在我们的理论分析之外广泛适用，并从各种真实和合成数据集上对其预测进行了实证验证。作为一个应用，我们根据谱和目标衰减的标准幂律假设导出了尖锐的超额误差率。特别地，我们提供了实现最优极小极大误差率所需特征数量的紧密结果。

May, 2024

谱算法的泛化误差

研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

Mar, 2024

用基于梯度的优化方法解决核岭回归问题

本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

Jun, 2023

有限秩核岭回归的测试误差的理论分析

对于任何有限秩核岭回归 (KRR)，我们导出了尖锐的非渐近上下界来衡量其测试误差，并与之前的结果相比，我们的界限更紧密且适用于任何正则化参数。

Oct, 2023

随机特征和核方法的泛化误差：超收缩和核矩阵集中

研究了在高维情况下，使用随机特征与岭回归相结合的方法在特征空间中实现核 Ridge 回归的近似，证明了欠拟合比过拟合更容易避免，展示了在满足特定谱条件和某些特征向量的超收缩性假设的情况下，所得到的错误随着自由参数的增加呈幂律下降的规律。

Jan, 2021

Mercer 核和综合方差实验设计：高斯过程回归和多项式逼近之间的联系

研究实验设计过程以开发计算模型代理，探索实验设计和近似算法之间的相互作用。重点研究了两种广泛使用的近似方法：高斯过程回归和非侵入式多项式近似。

Feb, 2015

使用梯度下降解决非常数核函数的核岭回归

通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。

Nov, 2023

随机化草图用于核回归：快速和最优非参数回归

本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

Jan, 2015

非对称数据的对称核函数：一个与数据无关的可学习性界限

利用高度理想化的数据测度所关联的特征值和特征函数，可以限制与现实数据上可学性相关的理论下界。作为示例，我们给出了与自然语言处理中的泛化变换器相关的核的复制头样本复杂性的理论下界。

Jun, 2024