May, 2023

Tikhonov 和 RKHS 正则化的小噪声分析

PDF
TL;DR本文通过建立一个小噪声分析框架，比较了 Tikhonov 和 RKHS 正则化问题中各种正则化规范的效果，发现 L2 正则化器存在潜在的不稳定性，并通过提出一种新颖的自适应分数 RKHS 正则化器来解决其不稳定性，实验结果表明，过度平滑可以提高收敛速度，但最优超参数难以实际选择。
regularizationtikhonov regularizationrkhs regularizationadaptive fractional rkhs regularizersconvergence rates
发现论文，激发创造
  • 核学习中的正则化

    本文研究了在重现核希尔伯特空间中进行正则化学习情景时，如何在核函数的温和假设下获得最佳的错误率。研究发现，可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。

    Jan, 2010

  • 非参数学习非局部算子中的核函数

    本文采用数据自适应 RKHS Tikhonov 正则化方法，提出基于可识别性函数空间的非局部算子核学习的收敛估计器，成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型，并在健壮性，泛化性和准确性方面优于基线方法。

    May, 2022

  • 正则化的重要性：神经网络的泛化和优化与其引导的核函数

    通过研究多层前馈 ReLU 神经网络、交叉熵损失函数、核方法等工具，我们发现标准 l2 正则化器在实际应用中具有很大优越性，并且通过构造一个简单的 d 维数据集，我们证明了有正则化器的神经网络只需要 O (d) 的数据集就能训练成功，而对于无正则化器的 NTK 神经网络，则需要至少 Omega (d^2) 的数据才能训练成功。同时，我们还证明了无限宽度的两层神经网络能够通过有噪音的梯度下降优化正则化器，并且能够得到全局最优解。

    Oct, 2018

  • 在线学习作为正则化路径的随机逼近

    本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

    Mar, 2011

  • 深度神经网络正则化的核视角

    通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果，并提出了一些新的有效的正则化策略，实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。

    Sep, 2018

  • 通过核回归理解对抗训练中的过拟合现象

    本文对于在再生核希尔伯特空间中采用对抗训练和加噪数据增强的正则化回归方法进行了研究，发现这两种方法在一些情况下可能导致过拟合，但通过选择适当的正则化参数，这两种方法可以优于标准的核回归，实现小的广义误差和利普希茨常数。

    Apr, 2023

  • 非平稳数据下再生核希尔伯特空间在线正则化统计学习的收敛条件

    研究了具有依赖性和非平稳在线数据流的递归正则化学习算法在复制核希尔伯特空间中的收敛性。通过研究随机差分方程在核希尔伯特空间中的均方渐近稳定性和随机 Tikhonov 正则化路径的概念，证明了算法输出与正则化路径一致，并且满足一定条件下算法输出与未知函数一致。对于独立和非同分布的数据流情况，通过研究边缘概率测度和定期时间段的平均测度，证明了均方一致性的实现。

    Apr, 2024

  • 大步长非参数随机逼近

    本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。

    Aug, 2014

  • 核化赌博机中适应误差核正则性

    研究了在核化赌博机问题中，在未知正则性的情况下学习算法是否能够自适应于相关核函数的正则性。通过研究转化不变核的正则性自适应性，我们推导出自适应性的下限，证明不可能在具有不同规则性的 RKHS 对中同时实现最优累计遗憾。通过连接在不同功能空间中自适应的统计困难性，我们展示了这一下限的紧密性。

    Apr, 2023

  • 带正则化最小二乘的分布式学习

    使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

    Aug, 2016