Jun, 2018

过度拟合还是完美拟合？插值分类和回归规则的风险界限

PDF
TL;DR本文分析局部插值方案，包括几何单纯插值算法和单一加权 k 近邻算法，在分类和回归问题中证明了这些方案的一致性或近一致性，并提出了一种解释对抗性示例的方法，同时讨论了与核机器和随机森林的一些联系。
machine learninggeneralizationinterpolated classifierslabel noisenearest neighbor
发现论文，激发创造
  • 回归中的无害噪声数据插值

    本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

    Mar, 2019

  • 强归纳偏置可证明防止无害插值

    本文通过研究感知偏差的强度程度，探讨了过度拟合噪声现象所谓 “良性过度拟合” 或 “无害插值” 时的影响因素，给出了高维卷积核回归收敛界限的紧密非渐进限制，并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。

    Jan, 2023

  • 了解深度学习需要了解核学习

    研究表明深度学习和浅层核方法在过拟合问题上表现相似，而不是泛化性能高的唯一因素，因此需要更深入地研究浅层核方法，以更好地理解深度学习。

    Feb, 2018

  • 神经网络中良性过拟合现象的理解探讨

    本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

    Jun, 2021

  • 最近邻算法中插值的优势

    本研究通过研究最近邻算法的类等权重方案，量化了数据内插法的好处，并证明了数据内插法可以在最佳 kNN 算法的基础上具有更好的预测精度和统计稳定性，在解释二次下降现象方面提供了理论依据。

    Sep, 2019

  • 岭回归中的良性过拟合

    本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

    Sep, 2020

  • 线性回归中的良性过拟合

    研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

    Jun, 2019

  • 过拟合的分类：良性，适度和灾难性

    该论文研究了神经网络等插值方法是否能够在存在噪声的情况下，拟合训练数据而不会表现出灾难性的测试性能，尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释，并首次系统研究了 “温和过拟合” 的性质及在核（岭）回归中的表现，以及在深度神经网络中的实验结果。

    Jul, 2022

  • 毫无畏惧：插值视角下深度学习的卓越数学现象

    本文阐述了深度学习和机器学习等领域中，数学理论在实践中的不足和理论难题。作者尝试从揭示深度学习基础的角度探究插值和超参数化的作用，以期近一步走向深度学习和机器学习的普适理论。

    May, 2021

  • Just Interpolate: 核 “无岭” 回归能够泛化

    使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据，本文分离了最小范数插值解的隐含正则化现象，这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的，并给出了一种数据相关的外样本误差的上界估计。

    Aug, 2018