Sep, 2023

核岭回归在幂律衰减下的渐近学习曲线

PDF
TL;DR在这篇论文中，我们在温和且更现实的假设下，对学习曲线进行了全面的描述，详细阐述了正则化参数、源条件和噪声的选择对学习曲线的影响和相互作用。特别地，我们的结果表明，在噪声水平较小时，' 良性过拟合现象 ' 只存在于非常宽的神经网络中。
benign overfitting phenomenonbias-variance trade-offneural networklearning curveregularization parameter
发现论文，激发创造
  • 岭回归中的良性过拟合

    本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

    Sep, 2020

  • 分析谱算法在幂律衰减下的泛化误差曲线

    通过分析核回归方法的泛化误差曲线，提供了大量分析谱算法和核梯度下降方法的泛化误差曲线的全面特征描述，进而深化了核插值的不一致性和高资格核回归算法的饱和效应等的理解，这些结果极大地改善了我们对训练宽神经网络泛化行为的认识。值得独立关注的新技术贡献是分析函数论证。

    Jan, 2024

  • 带幂律先验和目标的高斯过程回归学习曲线

    本研究在假设先验的特征值谱和目标函数的特征展开系数遵循幂律的条件下，表征了高斯过程回归学习曲线的幂律渐近行为，此外，我们利用高斯过程回归和核岭回归之间的等价性来展示了核岭回归的泛化误差；无限宽神经网络可以与高斯过程回归相关联，我们展现了玩具实验来演示理论。

    Oct, 2021

  • 基于现实假设的核回归泛化

    对于几乎所有常见和现实设置，本论文旨在提供一种统一的理论来上界核回归的超额风险。通过提供适用于常见核函数和任意正则化、噪声、输入维度和样本数量的严格界限，并提供核矩阵特征值的相对扰动界限，揭示了核矩阵的特征值尾部分布形成一种隐式正则化现象，从而实现良好的泛化。本研究的结果适用于高输入维度的良性过拟合、固定维度的近似过拟合以及正则化回归的明确收敛速率。

    Dec, 2023

  • 高维核回归：超越双谷现象的细致分析

    该研究通过建立偏差 - 方差分解方法，研究了高维核岭回归在欠参数和过参数情况下的泛化性能特征， 揭示了特定的正则化方案下偏差和方差与训练数据数量 n 和特征维度 d 的组合方式对核回归风险曲线的形状的影响。

    Oct, 2020

  • 神经网络中良性过拟合现象的理解探讨

    本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

    Jun, 2021

  • 固定维度下核函数和神经网络的良性过拟合

    本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

    May, 2023

  • 核回归中的泛化误差率：从无噪音到有噪音的转变

    本研究旨在探讨在高斯设计下的核岭回归 (KRR)。我们研究了噪声和正则化之间的相互作用对异常泛化误差的影响，对各种交叉设置进行了表征，并展示了在样本复杂性增加时从无噪声指数到噪声值之间存在过渡。最后，我们证明了这种交叉行为在现实数据集上也是可观测的。

    May, 2021

  • 善意过拟合对对抗鲁棒性的惊人有害性

    将方差过高的机器学习模型用于对付具有恶意目标的数据可能会导致对抗性风险的增加。

    Jan, 2024

  • 神经网络梯度下降训练中的普适性尺度律

    本文通过对梯度下降训练的神经网络的优化轨迹进行研究，展示了学习轨迹可以用大训练时间的显式渐近特征描述。

    May, 2021