高维条件下核岭回归的最优速率
我们建立了基于分解的可扩展核岭回归方法的最优收敛速率。该方法通过将大小为N的数据集随机分为m个大小相等的子集,为每个子集计算独立的核岭回归估计器,然后将局部解的平均值得到全局预测器,从而在计算时间上实现了大幅度的减少。
May, 2013
该论文研究了核岭回归在高维情况下存在偏差的问题,分析了常用核函数(如RBF核、内积核和全连接NTK核)的旋转不变性属性在高维情况下对低次多项式存在偏差,从而阐明了核岭回归普遍性一般性误差的下限,这表明核函数的结构超出了其特征值衰减和需要更精细的分析。
Apr, 2021
本研究旨在探讨在高斯设计下的核岭回归(KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响,对各种交叉设置进行了表征,并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后,我们证明了这种交叉行为在现实数据集上也是可观测的。
May, 2021
本文针对Kernel ridge regression方法的不足,提出了一种新的优化方法Kernel Gradient Flow,通过引入不同于ridge惩罚的惩罚项,以及在训练过程中减小核函数的带宽,该方法得到了更好的结果。
Jun, 2023
对大维数据的核回归进行研究,利用Mendelson复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率,进一步确定最优极小二乘误差率,并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为,同时也适用于神经切线核和宽神经网络。
Sep, 2023
通过使用迭代方法并在训练过程中逐渐减小带宽,我们可以解决内核岭回归中的超参数选择问题,并取得优于使用常数带宽的结果。同时,我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能,还能产生双下降现象,这些特征在常数带宽的内核岭回归和神经网络中并不常见。
Nov, 2023
本研究解决了现有核岭回归(KRR)在比例渐近范式下研究的局限性,扩展到二次渐近范式中。在这一新范式下,提出了一种核随机矩阵的近似界限,揭示了广泛的内积核的行为与二次核相似的特性。该研究为KRR的渐近训练和泛化误差提供了新的见解,具有重要的理论和实际应用价值。
Aug, 2024