神经网络中良性过拟合现象的理解探讨

Jun, 2021

神经网络中良性过拟合现象的理解探讨

Towards an Understanding of Benign Overfitting in Neural Networks

Zhu Li, Zhi-Hua Zhou, Arthur Gretton

TL;DR本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Abstract

Modern machine learning models often employ a huge number of parameters and are typically optimized to have zero training loss; yet surprisingly, they possess near-optimal prediction performance, contradicting classical learning theory. We examine how these benign →

machine learning overfitting neural networks learning theory parameter

发现论文，激发创造

从 tempered 到 benign 的 ReLU 神经网络过拟合

本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

May, 2023

线性回归中的良性过拟合

研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

Jun, 2019

深度神经网络的惰性训练下的良性过拟合

该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

May, 2023

两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合

通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率，并且能够高效地学习存在高度相关特征的异或类型分类任务。

Oct, 2023

岭回归中的良性过拟合

本研究探讨了过参数化模型在插值噪声数据时的行为，分析了数据的协方差结构和高效秩的子空间是如何影响该现象的发生，并提供了正则化条件下的结果。

Sep, 2020

固定维度下核函数和神经网络的良性过拟合

本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

May, 2023

过拟合的分类：良性，适度和灾难性

该论文研究了神经网络等插值方法是否能够在存在噪声的情况下，拟合训练数据而不会表现出灾难性的测试性能，尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释，并首次系统研究了 “温和过拟合” 的性质及在核（岭）回归中的表现，以及在深度神经网络中的实验结果。

Jul, 2022

输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合

该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

Mar, 2024

深度线性网络在浅层网络无法时可能出现良性过拟合

本研究针对使用梯度流训练的深度线性网络的过度风险进行了边界限制，发现与最小 l2 范数插值的已知边界非常接近或者相等，深度并不能提高算法隐藏噪声的能力，并通过模拟数据验证了该边界的典型行为。

Sep, 2022

回归中的无害噪声数据插值

本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

Mar, 2019