本研究探讨了过参数化模型在插值噪声数据时的行为,分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生,并提供了正则化条件下的结果。
Sep, 2020
本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测,表明超学习风险会在满足一定条件的情况下逐渐减小,并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时,还发现当网络参数数量超过 O (n^2) 时,超学习风险开始增加,这与最近的实证结果相符。
Jun, 2021
本研究发现,神经网络的光滑度才是决定良性过拟合的关键,只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中,光滑度适中的良性过拟合是不可能的,在回归模型中,采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中,可以在无限宽的神经网络中实现良性过拟合,从而提高在低维数据集上的泛化性能。
May, 2023
本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时,仍能够实现零训练误差且具有泛化能力的机制,并阐述了过拟合和特征选择不佳对泛化能力的影响。
Mar, 2019
高维线性回归中的过拟合与泛化问题在转移学习中的不同表现及风险边界进行了分析和研究,并提出了基于超参数化程度的有益和有害转变偏差的分类方法。
Mar, 2024
探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功,以及其之所以具有超预期的表现,推断是因为过度参数化可以让梯度方法寻找插值解,这些方法隐含地施加正则化,并且过度参数化导致了良性过拟合等基本原理构成了这个现象,同时摘要了最新的理论进展,重点考虑了神经网络的线性区域。
Mar, 2021
将方差过高的机器学习模型用于对付具有恶意目标的数据可能会导致对抗性风险的增加。
Jan, 2024
本文分析局部插值方案,包括几何单纯插值算法和单一加权 k 近邻算法,在分类和回归问题中证明了这些方案的一致性或近一致性,并提出了一种解释对抗性示例的方法,同时讨论了与核机器和随机森林的一些联系。
Jun, 2018
该论文研究了神经网络等插值方法是否能够在存在噪声的情况下,拟合训练数据而不会表现出灾难性的测试性能,尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释,并首次系统研究了 “温和过拟合” 的性质及在核(岭)回归中的表现,以及在深度神经网络中的实验结果。
Jul, 2022
该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差,同时获得(几乎)零训练误差,并提出了三个相关概念的统一。