本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

Jun, 2023

通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。

Nov, 2023

我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

Feb, 2024

本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

Jan, 2015

论文提出了一种利用稀疏岭回归方法迅速确定支配非线性动力学系统的方程的算法，该算法在实验中取得了可证明的优化结果并且比现有的商业求解器 Gurobi 解决的 MIP 公式快几个数量级。

Apr, 2023

通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。

Jan, 2024

本文研究了具有随机特征和随机梯度下降的无脊椎回归的统计属性，探索了随机梯度和随机特征中因素的影响，特别是随机特征误差呈现双峰曲线。在理论结果的启发下，我们提出了一种可调节的核算法，优化核的谱密度。本研究架起了插值理论和实际算法之间的桥梁。

May, 2022

基于自主性参数选择、通信非敏感信息的隐私保证和性能改进的协作性的自适应分布式核岭回归 (AdaDKRR) 是解决数据孤岛问题的可行方案，并能在智能决策、价格预测和产品性能预测等领域发挥作用。

Sep, 2023

该论文提出了一种基于核的随机梯度下降算法，在训练过程中进行模型选择，不需任何形式的交叉验证或参数调整，并利用在线学习理论在数据相关性方面进行正则化的估计，证明了标准光滑性假设下的最优收敛速度。

Jun, 2014

本文通过加入局部自适应带宽的 RBF 核和核学习技术，提升了核无岭回归，并首次证明了由 LAB RBF 核学习的函数属于可重构核希尔伯特空间。尽管所提出模型中没有显式正则化，但其优化等效于在可重构核希尔伯特空间中解决一个 l0 正则化问题，解释了其泛化能力的来源。在近似分析角度下，我们引入了一种 lq - 范数分析技术（其中 0<q<1），以在适度条件下推导所提模型的学习率。实验结果在合成和真实数据集上验证了我们的理论推论。

Jun, 2024