从 tempered 到 benign 的 ReLU 神经网络过拟合

May, 2023

从 tempered 到 benign 的 ReLU 神经网络过拟合

From Tempered to Benign Overfitting in ReLU Neural Networks

Guy Kornowski, Gilad Yehudai, Ohad Shamir

TL;DR本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

Abstract

Overparameterized neural networks (NNs) are observed to generalize well even when trained to perfectly fit noisy data. This phenomenon motivated a large body of work on "benign overfitting", where interpolating predictors achieve near-optimal performance. Recently, it was conjectured a

overparameterized neural network benign overfitting tempered overfitting classification relu

发现论文，激发创造

神经网络中良性过拟合现象的理解探讨

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

深度神经网络的惰性训练下的良性过拟合

该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

May, 2023

输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合

该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

Mar, 2024

两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合

通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率，并且能够高效地学习存在高度相关特征的异或类型分类任务。

Oct, 2023

过拟合的分类：良性，适度和灾难性

该论文研究了神经网络等插值方法是否能够在存在噪声的情况下，拟合训练数据而不会表现出灾难性的测试性能，尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释，并首次系统研究了 “温和过拟合” 的性质及在核（岭）回归中的表现，以及在深度神经网络中的实验结果。

Jul, 2022

固定维度下核函数和神经网络的良性过拟合

本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

May, 2023

现实中的深度学习可能不容易适应

研究表明温和过拟合现象对过度参数深度学习模型的成功提供了深刻见解。本文探讨了现实世界中的温和过拟合现象，并发现对于在 ImageNet 数据集上训练 ResNet 模型等任务，模型不会温和拟合。在这个较轻的过参数化设置下，我们的分析确定了一种新现象：在标签噪声存在的情况下，温和过拟合可能会失败。此外，我们的工作强调了理解欠拟合环境中的隐式偏差作为未来方向的重要性。

Jun, 2022

使用铰链损失函数训练浅层 ReLU 网络的噪声数据：过拟合何时发生且是否良性？

本文探讨了使用梯度下降和 hinge loss 在嘈杂数据上训练的两层 ReLU 网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。

Jun, 2023

线性回归中的良性过拟合

研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

Jun, 2019

善意过拟合对对抗鲁棒性的惊人有害性

将方差过高的机器学习模型用于对付具有恶意目标的数据可能会导致对抗性风险的增加。

Jan, 2024