Aug, 2016

带正则化最小二乘的分布式学习

PDF
TL;DR使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。
distributed learningleast squares regularizationreproducing kernel hilbert spaceerror boundsintegral operator approach
发现论文，激发创造
  • 大步长非参数随机逼近

    本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。

    Aug, 2014

  • 核学习中的正则化

    本文研究了在重现核希尔伯特空间中进行正则化学习情景时，如何在核函数的温和假设下获得最佳的错误率。研究发现，可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。

    Jan, 2010

  • 在线学习作为正则化路径的随机逼近

    本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

    Mar, 2011

  • 非平稳数据下再生核希尔伯特空间在线正则化统计学习的收敛条件

    研究了具有依赖性和非平稳在线数据流的递归正则化学习算法在复制核希尔伯特空间中的收敛性。通过研究随机差分方程在核希尔伯特空间中的均方渐近稳定性和随机 Tikhonov 正则化路径的概念，证明了算法输出与正则化路径一致，并且满足一定条件下算法输出与未知函数一致。对于独立和非同分布的数据流情况，通过研究边缘概率测度和定期时间段的平均测度，证明了均方一致性的实现。

    Apr, 2024

  • 强健在线学习的最优性

    本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。

    Apr, 2023

  • 使用随机傅里叶特征在 RKH 空间中进行网络分布式在线学习

    我们提出了一种新颖的扩散方案，用于在网络上进行基于内核的在线学习，通过使用 Random Fourier Features，将解决方案近似为固定大小的向量，并提供了渐近收敛和网络遗憾的限制条件。

    Mar, 2017

  • 一种在线多核并行学习方案

    本文提出了一种学习方案，通过可扩展地结合多个基于单核的在线方法来减少内核选择偏差，从而扩展了单核解空间，增加了找到高性能解的可能性，并在累积正则化最小二乘成本指标方面实验证明所提出的学习方案优于单独使用的组合单核在线方法。

    Aug, 2023

  • 正则化最小二乘算法的 Sobolev 范数学习率

    本文针对最小二乘回归中的 $L_2$-norms，将其扩展至更强的 norms，而无需将回归函数包含在假设空间中。特别地，在用作假设空间的 Sobolev 重现核希尔伯特空间的特殊情况下，这些更强的 norms 与所使用的 Sobolev 空间和 $L_2$ 之间的分数 Sobolev norms 一致，从技术角度来看，我们将已知的积分算子技术与内嵌属性相结合，这种方法迄今仅在经验过程论证明中使用过。这种组合结果产生了相对于更强的 norms 的新的有限样本边界。从这些有限样本边界出发可以轻松得出我们的学习率。最后，我们证明了在许多情况下我们的结果的渐近最优性。

    Feb, 2017

  • 多核学习中的稀疏性

    探讨了基于经验风险惩罚的多核学习问题。它综合考虑了经验 $L_2$ 范数和核引起的再生核希尔伯特空间（RKHS）范数及其正则化参数的数据驱动选择的复杂度惩罚。主要关注的是当核心总数很大但仅需要较少数量的核心来表示目标函数时，该问题是稀疏的情况。目标是建立超预言不等式的超额风险，用于描述该方法是如何适应未知设计分布和问题的稀疏性。

    Nov, 2012

  • 在 RKHS 中的密度比自适应学习

    通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

    Jul, 2023