本文提出了一种基于随机特征图的预处理技术来加速解决核岭回归中不良条件和密集矩阵问题，可以适用于大规模数据集，实验证明该方法在一百万个训练样例的数据集中表现良好。
Nov, 2016
本文章介绍了一种改进基于核方法的机器学习方法运行时间的方法，并提出了一个计算算法，该算法可以用来在不需要生成全核矩阵的情况下，对特征向量矩阵进行采样，并在统计表现和运行时间方面提供了新的保证。
Nov, 2014
我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。
Feb, 2024
本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。
Jun, 2023
本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。
Aug, 2012
在本研究中，我们提出了 Kernel Ridge Regression (KRR) 和 Kernel K-means 聚类 (KKMC) 中所需的核函数评估数量的严格下限，并且通过有效的统计维度，我们的 KRR 结果解决了一个关于采样复杂度的开放性问题。此外，对于输入数据为高斯混合模型的情况，我们提供了一种超越了上述下限的 KKMC 算法。
May, 2019
通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。
Nov, 2023
我们提出并分析了一种算法，用于解决涉及可能是无限维输入和输出空间的矢量值回归问题。该算法是降低秩回归的随机化改进，通过带有秩约束的正则化经验风险最小化来优化学习低秩矢量值函数（即运算符）与采样数据之间的关系。我们提出了基于高斯草图技术的原始和对偶优化目标，产生了高效准确的随机降秩回归（R4）估计器。对于我们的每个 R4 算法，我们证明了在适当调整超参数的情况下，随机草图的随机性的期望下，所得到的正则化经验风险将任意接近最优值。数值实验证明了我们界限的紧凑性，并展示了两种不同情景的优势：（i）使用合成和大规模神经科学数据集解决矢量值回归问题，以及（ii）回归非线性随机动力系统的 Koopman 运算符。
Dec, 2023
通过引入一种名为 Variance-Reduced Sketching (VRS) 的新框架，我们特别设计了一种在高维度中估计密度函数和非参数回归函数的方法，其降低了 “维数灾难” 的影响，并通过一系列模拟实验和实际数据应用展示了其在密度估计和非参数回归模型中相较于现有的神经网络估计器和经典核方法的显著改进。此外，我们为 VRS 提供了理论上的证明，支持其在降低维度灾难的同时提供非参数估计能力。
Jan, 2024
通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。