对大维数据的核回归进行研究，利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率，进一步确定最优极小二乘误差率，并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为，同时也适用于神经切线核和宽神经网络。

Sep, 2023

本论文证明了当 H 是一个 Sobolev RKHS 时，对于任何 0 < s < 1，KRR 都是极小化最优的，解决了长期存在的问题。

May, 2023

对于在大维度（即 n≈d^γ，其中 γ>0）的核插值的泛化能力，可能是最近核回归复兴中最有趣的问题之一，因为它可能帮助我们理解神经网络文献中报告的 “良性过拟合现象”。我们针对球上的内积核，完全描述了各种源条件（s≥0）下大维度核插值的方差和偏差的确切阶数。因此，我们得到了大维度核插值的（s，γ）相图，即确定了核插值在（s，γ）平面上的最优、次优和不一致区域。

Apr, 2024

我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

Feb, 2024

该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

Oct, 2020

本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

Jun, 2023

本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

Jan, 2015

这篇文章研究了核岭回归中的低秩逼近和替代方法，通过引入降维算法和核函数的正则性，探讨了降维逼近的有效维度与正则化参数的增长关系，并证明了对于合适的核函数，这种增长是渐近对数的，从而使得低秩逼近成为纽斯特伦方法。

Feb, 2024

我们提出了一个连续标准的无限维向量值岭回归问题的第一个最优率，在 $L_2$ 和假设空间之间插值的范数上，我们认为这是一个向量值再生核希尔伯特空间。这些率允许处理真实回归函数不包含在假设空间中的不正确情况。我们将假设空间的容量标准假设与一种新的向量值插值空间的张量积构造相结合，以刻画回归函数的平滑程度。我们的上界不仅达到与实值核岭回归相同的速率，而且消除了目标回归函数有界的假设。对于下界，我们使用投影论证将问题简化为标量情况。我们证明这些速率在大多数情况下是最优的，并且与输出空间的维度无关。我们以向量值 Sobolev 空间的特殊情况来说明我们的结果。

Dec, 2023

该论文研究了核岭回归在高维情况下存在偏差的问题，分析了常用核函数（如 RBF 核、内积核和全连接 NTK 核）的旋转不变性属性在高维情况下对低次多项式存在偏差，从而阐明了核岭回归普遍性一般性误差的下限，这表明核函数的结构超出了其特征值衰减和需要更精细的分析。

Apr, 2021