- 协变量偏移下的最小范数插值
高维线性回归中的过拟合与泛化问题在转移学习中的不同表现及风险边界进行了分析和研究,并提出了基于超参数化程度的有益和有害转变偏差的分类方法。
- 输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合
该研究针对二元分类任务,使用带有折线损失的两层泄漏整流线性单元网络,研究了良性过拟合问题,通过对模型参数的信号噪声比进行特征化,发现高信噪比出现良性过拟合,低信噪比出现有害过拟合,并将良性和非良性过拟合归因于近似边际最大化特性,同时降低了训 - 善意过拟合对对抗鲁棒性的惊人有害性
将方差过高的机器学习模型用于对付具有恶意目标的数据可能会导致对抗性风险的增加。
- 关于插值信息准则的 PAC-Bayesian 观点
深度学习在理论和实践之间存在理论实践差距,最近的研究关注了过拟合现象及其影响因素,提出了插值信息准则来研究过参数化模型的性能和泛化能力。
- 两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合
通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率,并且能够高效地学习存在高度相关特征的异或类型分类任务。
- 普通最小二乘插值器的代数和统计性质
通过提供 OLS 插值器的高维代数和统计结果,我们对其一般化能力和因果推断具有实质性影响进行了研究,此外,我们还在高斯 - 马尔可夫模型下提出了统计结果和方差估计的分析。
- 使用铰链损失函数训练浅层 ReLU 网络的噪声数据:过拟合何时发生且是否良性?
本文探讨了使用梯度下降和 hinge loss 在嘈杂数据上训练的两层 ReLU 网络的良性过拟合问题,研究了线性可分数据,给出了干净数据边距的条件,得到了良性过拟合,过拟合和非过拟合三种不同的情况,并揭示了神经元训练过程中的两个不同阶段。
- ICML深度神经网络的惰性训练下的良性过拟合
该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差,同时获得(几乎)零训练误差,并提出了三个相关概念的统一。
- 从 tempered 到 benign 的 ReLU 神经网络过拟合
本文研究过参数神经网络的过拟合现象,并证明了在不同的维度下会出现不同种类的过拟合现象,包括良性过拟合和温和过拟合,并解释了这些现象与样本大小、网络结构等因素的相关性。
- 固定维度下核函数和神经网络的良性过拟合
本研究发现,神经网络的光滑度才是决定良性过拟合的关键,只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中,光滑度适中的良性过拟合是不可能的,在回归模型中,采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频 - 过拟合的分类:良性,适度和灾难性
该论文研究了神经网络等插值方法是否能够在存在噪声的情况下,拟合训练数据而不会表现出灾难性的测试性能,尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释,并首次系统研究了 “温和过拟合” 的性质及在核(岭)回归中的表现,以及在深度 - 现实中的深度学习可能不容易适应
研究表明温和过拟合现象对过度参数深度学习模型的成功提供了深刻见解。本文探讨了现实世界中的温和过拟合现象,并发现对于在 ImageNet 数据集上训练 ResNet 模型等任务,模型不会温和拟合。在这个较轻的过参数化设置下,我们的分析确定了一 - 深度学习:统计观点
探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功,以及其之所以具有超预期的表现,推断是因为过度参数化可以让梯度方法寻找插值解,这些方法隐含地施加正则化,并且过度参数化导致了良性过拟合等基本原理构成了这个现象,同时 - 线性回归中的良性过拟合
研究表明,过度拟合是深度学习方法的主要问题之一,但当训练中使用最小规范化规则时,线性回归问题中的过度拟合也可以实现高精度预测,需要超参数数量显著超过样本大小。