非对称核学习的核岭回归学习分析

Jun, 2024

非对称核学习的核岭回归学习分析

Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning

Fan He, Mingzhen He, Lei Shi, Xiaolin Huang, Johan A.K. Suykens

TL;DR本文通过加入局部自适应带宽的 RBF 核和核学习技术，提升了核无岭回归，并首次证明了由 LAB RBF 核学习的函数属于可重构核希尔伯特空间。尽管所提出模型中没有显式正则化，但其优化等效于在可重构核希尔伯特空间中解决一个 l0 正则化问题，解释了其泛化能力的来源。在近似分析角度下，我们引入了一种 lq - 范数分析技术（其中 0<q<1），以在适度条件下推导所提模型的学习率。实验结果在合成和真实数据集上验证了我们的理论推论。

Abstract

ridgeless regression has garnered attention among researchers, particularly in light of the ``Benign Overfitting'' phenomenon, where models interpolating noisy samples demonstrate robust generalization. However, kernel ridgeless regression does not always perform well due to the lack o

ridgeless regression locally-adaptive-bandwidths kernel learning techniques reproducible kernel hilbert spaces sparsity

发现论文，激发创造

通过学习非对称局部自适应核增强核的灵活性

本文介绍了一种新型的局部自适应带宽（LAB）径向基函数（RBF）核，利用可训练参数增强了核的灵活性，同时建立了一个非对称核岭回归框架并引入了一种迭代式核学习算法，实验结果表明该算法在处理大规模数据集上具有显著性能优势，并且在回归准确度上优于现有的基于核的学习方法，甚至超过了残差神经网络。

Oct, 2023

非参数学习非局部算子中的核函数

本文采用数据自适应 RKHS Tikhonov 正则化方法，提出基于可识别性函数空间的非局部算子核学习的收敛估计器，成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型，并在健壮性，泛化性和准确性方面优于基线方法。

May, 2022

核学习中的正则化

本文研究了在重现核希尔伯特空间中进行正则化学习情景时，如何在核函数的温和假设下获得最佳的错误率。研究发现，可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。

Jan, 2010

由广义高斯 RBF 生成的复制核希尔伯特空间的预约 $L^2$- 度量

应用广义高斯径向基函数（RBF）在机器学习算法中的性能优于其他函数，通过对比高斯 RBF 核函数、Sigmoid 函数和 ReLU 函数，本文展示了广义高斯 RBF 在核函数中的应用及其在核回归、支持向量机（SVM）和模式识别中的成果。

Dec, 2023

核化赌博机中适应误差核正则性

研究了在核化赌博机问题中，在未知正则性的情况下学习算法是否能够自适应于相关核函数的正则性。通过研究转化不变核的正则性自适应性，我们推导出自适应性的下限，证明不可能在具有不同规则性的 RKHS 对中同时实现最优累计遗憾。通过连接在不同功能空间中自适应的统计困难性，我们展示了这一下限的紧密性。

Apr, 2023

带正则化最小二乘的分布式学习

使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

Aug, 2016

Just Interpolate: 核 “无岭” 回归能够泛化

使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

Aug, 2018

在线学习作为正则化路径的随机逼近

本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

Mar, 2011

用基于梯度的优化方法解决核岭回归问题

本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

Jun, 2023

深度神经网络正则化的核视角

通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

Sep, 2018