Dec, 2023

针对向量-值正则化最小二乘算法的最佳 Sobolev 范数速率

HTML
PDF
TL;DR我们提出了一个连续标准的无限维向量值岭回归问题的第一个最优率，在$L_2$和假设空间之间插值的范数上，我们认为这是一个向量值再生核希尔伯特空间。这些率允许处理真实回归函数不包含在假设空间中的不正确情况。我们将假设空间的容量标准假设与一种新的向量值插值空间的张量积构造相结合，以刻画回归函数的平滑程度。我们的上界不仅达到与实值核岭回归相同的速率，而且消除了目标回归函数有界的假设。对于下界，我们使用投影论证将问题简化为标量情况。我们证明这些速率在大多数情况下是最优的，并且与输出空间的维度无关。我们以向量值Sobolev空间的特殊情况来说明我们的结果。
发现论文，激发创造
  • 分治核岭回归: 一种带有极小化最大风险的分布式算法

    我们建立了基于分解的可扩展核岭回归方法的最优收敛速率。该方法通过将大小为N的数据集随机分为m个大小相等的子集，为每个子集计算独立的核岭回归估计器，然后将局部解的平均值得到全局预测器，从而在计算时间上实现了大幅度的减少。

    May, 2013

  • Hilbert空间上最小二乘回归的频谱算法的最优率

    本文研究使用平方损失函数解决分离的希尔伯特空间回归问题，探讨了包括岭回归、主成分回归和梯度法等一类谱/正则化算法。在假设空间容量和目标函数的一般源条件下，我们证明了已研究算法的最优高概率收敛结果，并考虑了变种范数。因此，我们获得了具有最优速率的几乎确定的收敛结果。我们的结果改进并推广了先前的研究，填补了非可达情况的理论空白。

    Jan, 2018

  • Just Interpolate: 核“无岭”回归能够泛化

    使用不带显式正则化的核“无岭”回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

    Aug, 2018

  • 关于错配核岭回归的最优性

    本论文证明了当H是一个Sobolev RKHS时，对于任何0 < s < 1，KRR都是极小化最优的，解决了长期存在的问题。

    May, 2023

  • 高维条件下核岭回归的最优速率

    通过研究神经网络和核脊回归的大维行为，我们确定了核脊回归的泛化误差的精确阶数，并展示了其随s的不同取值的曲线如何演化，还发现了饱和效应的存在。

    Jan, 2024

  • 最大边际自由度的上界

    这篇文章研究了核岭回归中的低秩逼近和替代方法，通过引入降维算法和核函数的正则性，探讨了降维逼近的有效维度与正则化参数的增长关系，并证明了对于合适的核函数，这种增长是渐近对数的，从而使得低秩逼近成为纽斯特伦方法。

    Feb, 2024

  • 噪声无关情况下核岭回归的对偶分析

    我们对核岭回归的泛化性质在无噪声情况下进行了综合分析，证明了核岭回归能够达到最小最优速率，该速率取决于相关核函数的特征值衰减和目标函数的相对平滑度。

    Feb, 2024

  • 一种核岭回归的非渐进理论：确定性等效、测试误差和GCV估计器

    通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

    Mar, 2024

  • 向量值谱正则化学习算法的最优速率

    我们研究具有向量值输出的一类正则化算法的理论性质，包括核岭回归、核主成分回归、梯度下降的各种实现等。我们的贡献有两个方面：首先，通过推导出一种新的学习速率下限，我们严格确认了具有向量值输出的岭回归的所谓饱和效应；当回归函数的平滑度超过一定水平时，该下限被证明是次优的。其次，我们给出了适用于有限样本风险的一般向量值谱算法的上限，适用于规范良好和规范错误的情况（真实的回归函数在假设空间之外），在多种情况下都是最小化最优的。我们的所有结果明确允许无限维度的输出变量情况，证明了最近实际应用的一致性。

    May, 2024

  • 非对称核学习的核岭回归学习分析

    本文通过加入局部自适应带宽的RBF核和核学习技术，提升了核无岭回归，并首次证明了由LAB RBF核学习的函数属于可重构核希尔伯特空间。尽管所提出模型中没有显式正则化，但其优化等效于在可重构核希尔伯特空间中解决一个l0正则化问题，解释了其泛化能力的来源。在近似分析角度下，我们引入了一种lq-范数分析技术（其中0<q<1），以在适度条件下推导所提模型的学习率。实验结果在合成和真实数据集上验证了我们的理论推论。

    Jun, 2024