Feb, 2017

正则化最小二乘算法的 Sobolev 范数学习率

PDF
TL;DR本文针对最小二乘回归中的 $L_2$-norms，将其扩展至更强的 norms，而无需将回归函数包含在假设空间中。特别地，在用作假设空间的 Sobolev 重现核希尔伯特空间的特殊情况下，这些更强的 norms 与所使用的 Sobolev 空间和 $L_2$ 之间的分数 Sobolev norms 一致，从技术角度来看，我们将已知的积分算子技术与内嵌属性相结合，这种方法迄今仅在经验过程论证明中使用过。这种组合结果产生了相对于更强的 norms 的新的有限样本边界。从这些有限样本边界出发可以轻松得出我们的学习率。最后，我们证明了在许多情况下我们的结果的渐近最优性。
least-squares regressionnormssobolev reproducing kernel hilbert spacesfractional sobolev normsfinite sample bounds
发现论文，激发创造
  • 针对向量 - 值正则化最小二乘算法的最佳 Sobolev 范数速率

    我们提出了一个连续标准的无限维向量值岭回归问题的第一个最优率，在 $L_2$ 和假设空间之间插值的范数上，我们认为这是一个向量值再生核希尔伯特空间。这些率允许处理真实回归函数不包含在假设空间中的不正确情况。我们将假设空间的容量标准假设与一种新的向量值插值空间的张量积构造相结合，以刻画回归函数的平滑程度。我们的上界不仅达到与实值核岭回归相同的速率，而且消除了目标回归函数有界的假设。对于下界，我们使用投影论证将问题简化为标量情况。我们证明这些速率在大多数情况下是最优的，并且与输出空间的维度无关。我们以向量值 Sobolev 空间的特殊情况来说明我们的结果。

    Dec, 2023

  • 核共轭梯度回归的最优学习率

    研究了基于核的最小二乘回归以及通过早期停止进行过度拟合的正则化的共轭梯度算法，并提出了该方法的收敛率，如果真实回归函数属于再生核希尔伯特空间，则其上限可以匹配之前文献中获得的下限.

    Sep, 2010

  • 超越最小二乘法：通过自协调快速收敛正则化经验风险最小化

    通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

    Feb, 2019

  • Hilbert 空间上最小二乘回归的频谱算法的最优率

    本文研究使用平方损失函数解决分离的希尔伯特空间回归问题，探讨了包括岭回归、主成分回归和梯度法等一类谱 / 正则化算法。在假设空间容量和目标函数的一般源条件下，我们证明了已研究算法的最优高概率收敛结果，并考虑了变种范数。因此，我们获得了具有最优速率的几乎确定的收敛结果。我们的结果改进并推广了先前的研究，填补了非可达情况的理论空白。

    Jan, 2018

  • 带正则化最小二乘的分布式学习

    使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

    Aug, 2016

  • 核学习中的正则化

    本文研究了在重现核希尔伯特空间中进行正则化学习情景时，如何在核函数的温和假设下获得最佳的错误率。研究发现，可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。

    Jan, 2010

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 强健在线学习的最优性

    本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。

    Apr, 2023

  • 在线学习作为正则化路径的随机逼近

    本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

    Mar, 2011

  • 普通最小二乘回归的更快、更好、更坚强的收敛速率

    提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

    Feb, 2016