本研究旨在探讨在高斯设计下的核岭回归 (KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。

May, 2021

本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

Jun, 2023

本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

Jan, 2015

通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

Mar, 2024

通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。

Jan, 2024

通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。

Nov, 2023

该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

Oct, 2020

对于任何有限秩核岭回归 (KRR)，我们导出了尖锐的非渐近上下界来衡量其测试误差，并与之前的结果相比，我们的界限更紧密且适用于任何正则化参数。

Oct, 2023

我们推导了核矩阵条件数的新界限，并利用它来增强固定输入维度下过参数化区域中核岭回归的非渐近测试误差界限。对于具有多项式谱衰减的核函数，我们得到了先前工作中的界限；对于指数衰减，我们的界限是非平凡和新颖的。我们关于过拟合的结论有两个方面：（i）具有多项式衰减特征谱的核回归器必须很好地概括，即使在存在有噪声标记的训练数据的情况下也是如此；这些模型表现出所谓的有限过拟合；（ii）如果任何核岭回归器的特征谱呈指数衰减，则它概括能力较差，即表现出灾难性过拟合。这进一步为核岭回归器表现出良性过拟合提供了可用的表征，其中核函数的特征谱以次多项式衰减。我们的分析将新的随机矩阵理论（RMT）技术与核岭回归（KRR）文献中的最新工具相结合。

Feb, 2024

研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

Mar, 2024