Nov, 2023

使用梯度下降解决非常数核函数的核岭回归

PDF
TL;DR通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。
kernel ridge regressionnon-linearparametersiterative approachbandwidth
发现论文，激发创造
  • 用基于梯度的优化方法解决核岭回归问题

    本文针对 Kernel ridge regression 方法的不足，提出了一种新的优化方法 Kernel Gradient Flow，通过引入不同于 ridge 惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

    Jun, 2023

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 随机化草图用于核回归：快速和最优非参数回归

    本文研究了基于随机矩阵的核岭回归近似方法，证明了可以仅仅选择与统计维度成比例的投影维度来保持最小极值，从而实现了快速和极小极值的非参数回归估计。

    Jan, 2015

  • 自适应参数选择的核岭回归

    基于核岭回归的参数选择问题，通过细致的参数区间划分和早停策略运用 Lepskii 原则，实现了学习率的优化和对不同规范的适应，为核方法的参数选择提供了新的突破记录。

    Dec, 2023

  • 一种核岭回归的非渐进理论：确定性等效、测试误差和 GCV 估计器

    通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

    Mar, 2024

  • Just Interpolate: 核 “无岭” 回归能够泛化

    使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

    Aug, 2018

  • 高维条件下核岭回归的最优速率

    通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随 s 的不同取值的曲线如何演化，还发现了饱和效应的存在。

    Jan, 2024

  • 有限秩核岭回归的测试误差的理论分析

    对于任何有限秩核岭回归 (KRR)，我们导出了尖锐的非渐近上下界来衡量其测试误差，并与之前的结果相比，我们的界限更紧密且适用于任何正则化参数。

    Oct, 2023

  • 利用草图和预调整加速核岭回归

    本文提出了一种基于随机特征图的预处理技术来加速解决核岭回归中不良条件和密集矩阵问题，可以适用于大规模数据集，实验证明该方法在一百万个训练样例的数据集中表现良好。

    Nov, 2016

  • 非对称核学习的核岭回归学习分析

    本文通过加入局部自适应带宽的 RBF 核和核学习技术，提升了核无岭回归，并首次证明了由 LAB RBF 核学习的函数属于可重构核希尔伯特空间。尽管所提出模型中没有显式正则化，但其优化等效于在可重构核希尔伯特空间中解决一个 l0 正则化问题，解释了其泛化能力的来源。在近似分析角度下，我们引入了一种 lq - 范数分析技术（其中 0<q<1），以在适度条件下推导所提模型的学习率。实验结果在合成和真实数据集上验证了我们的理论推论。

    Jun, 2024