用基于梯度的优化方法解决核岭回归问题

Jun, 2023

用基于梯度的优化方法解决核岭回归问题

Solving Kernel Ridge Regression with Gradient-Based Optimization Methods

Oskar Allerbo, Rebecka Jörnsten

TL;DR本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

Abstract

kernel ridge regression, KRR, is a non-linear generalization of linear ridge regression. Here, we introduce an equivalent formulation of the objective function of KRR, opening up both for using other penalties than the ridge →

kernel ridge regression regularization gradient descent penalty bandwidth

发现论文，激发创造

使用梯度下降解决非常数核函数的核岭回归

通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。

Nov, 2023

噪声无关情况下核岭回归的对偶分析

我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

Feb, 2024

自适应参数选择的核岭回归

基于核岭回归的参数选择问题，通过细致的参数区间划分和早停策略运用 Lepskii 原则，实现了学习率的优化和对不同规范的适应，为核方法的参数选择提供了新的突破记录。

Dec, 2023

随机化草图用于核回归：快速和最优非参数回归

本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

Jan, 2015

高维条件下核岭回归的最优速率

通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。

Jan, 2024

一种核岭回归的非渐进理论：确定性等效、测试误差和 GCV 估计器

通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

Mar, 2024

核共轭梯度回归的最优学习率

研究了基于核的最小二乘回归以及通过早期停止进行过度拟合的正则化的共轭梯度算法，并提出了该方法的收敛率，如果真实回归函数属于再生核希尔伯特空间，则其上限可以匹配之前文献中获得的下限.

Sep, 2010

OKRidge：用于学习动态系统的可扩展最优 k - 稀疏岭回归

论文提出了一种利用稀疏岭回归方法迅速确定支配非线性动力学系统的方程的算法，该算法在实验中取得了可证明的优化结果并且比现有的商业求解器 Gurobi 解决的 MIP 公式快几个数量级。

Apr, 2023

Just Interpolate: 核 “无岭” 回归能够泛化

使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

Aug, 2018

有限秩核岭回归的测试误差的理论分析

对于任何有限秩核岭回归 (KRR)，我们导出了尖锐的非渐近上下界来衡量其测试误差，并与之前的结果相比，我们的界限更紧密且适用于任何正则化参数。

Oct, 2023