May, 2024

核岭回归的饱和效应

HTML
PDF
TL;DR饱和效应是指当地下真实函数的平滑度超过一定水平时，核岭回归(KRR)无法达到信息论的下限。饱和效应在实践中被广泛观察到，并且关于KRR的饱和下限的猜想已经存在了几十年。本文提供了对这一长期猜想的证明。
发现论文，激发创造
  • 核回归中的泛化误差率：从无噪音到有噪音的转变

    本研究旨在探讨在高斯设计下的核岭回归(KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。

    May, 2021

  • 关于错配核岭回归的最优性

    本论文证明了当H是一个Sobolev RKHS时，对于任何0 < s < 1，KRR都是极小化最优的，解决了长期存在的问题。

    May, 2023

  • 用基于梯度的优化方法解决核岭回归问题

    本文针对Kernel ridge regression方法的不足，提出了一种新的优化方法Kernel Gradient Flow，通过引入不同于ridge惩罚的惩罚项，以及在训练过程中减小核函数的带宽，该方法得到了更好的结果。

    Jun, 2023

  • 有限秩核岭回归的测试误差的理论分析

    对于任何有限秩核岭回归(KRR)，我们导出了尖锐的非渐近上下界来衡量其测试误差，并与之前的结果相比，我们的界限更紧密且适用于任何正则化参数。

    Oct, 2023

  • 使用梯度下降解决非常数核函数的核岭回归

    通过使用迭代方法并在训练过程中逐渐减小带宽，我们可以解决内核岭回归中的超参数选择问题，并取得优于使用常数带宽的结果。同时，我们证明了这种方法不仅能够实现训练误差为零且具有良好泛化性能，还能产生双下降现象，这些特征在常数带宽的内核岭回归和神经网络中并不常见。

    Nov, 2023

  • 高维条件下核岭回归的最优速率

    通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随s的不同取值的曲线如何演化，还发现了饱和效应的存在。

    Jan, 2024

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 一种核岭回归的非渐进理论：确定性等效、测试误差和GCV估计器

    通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

    Mar, 2024

  • 核随机矩阵和核回归在二次范式中的普适性

    本研究解决了现有核岭回归（KRR）在比例渐近范式下研究的局限性，扩展到二次渐近范式中。在这一新范式下，提出了一种核随机矩阵的近似界限，揭示了广泛的内积核的行为与二次核相似的特性。该研究为KRR的渐近训练和泛化误差提供了新的见解，具有重要的理论和实际应用价值。

    Aug, 2024

  • 高斯核无岭回归的过拟合行为：带宽或维度的变化

    本研究探讨了高斯核无岭回归的最小范数插值解决方案的过拟合行为，特别是当样本大小变化时带宽或输入维度的影响。研究表明，在固定维度下，即使带宽变化或调整，无岭解决方案也始终不一致，并且在较大噪声情况下始终优于无预测器；此外，随着维度的增加，本研究首次展示了在带有亚多项式缩放维度的高斯核下的良性过拟合现象。

    Sep, 2024