输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合

Mar, 2024

输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合

Benign overfitting in leaky ReLU networks with moderate input dimension

Kedar Karhadkar, Erin George, Michael Murray, Guido Montúfar, Deanna Needell

TL;DR该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

Abstract

The problem of benign overfitting asks whether it is possible for a model to perfectly fit noisy training data and still generalize well. We study benign overfitting in two-layer leaky relu networks trained with

benign overfitting leaky relu networks hinge loss signal to noise ratio approximate margin maximization

发现论文，激发创造

使用铰链损失函数训练浅层 ReLU 网络的噪声数据：过拟合何时发生且是否良性？

本文探讨了使用梯度下降和 hinge loss 在嘈杂数据上训练的两层 ReLU 网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。

Jun, 2023

从 tempered 到 benign 的 ReLU 神经网络过拟合

本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

May, 2023

两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合

通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率，并且能够高效地学习存在高度相关特征的异或类型分类任务。

Oct, 2023

神经网络中良性过拟合现象的理解探讨

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

ReLU 网络中 XOR 聚类数据的良性过拟合与理解

在本研究中，我们证明在两层 ReLU 网络中，通过梯度下降训练，当训练标签中有恒定比例的错误时，神经网络在第一步达到 100％的训练准确性，然后在测试数据上表现出随机的准确性，而在后续的训练步骤中达到接近最优的测试准确性，这展示了一种新的过拟合现象。

Oct, 2023

深度神经网络的惰性训练下的良性过拟合

该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

May, 2023

对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差

針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結果對我們的理論結果進行了驗證。

Oct, 2023

固定维度下核函数和神经网络的良性过拟合

本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

May, 2023

Benign 过拟合有多无害？

本研究探讨深度神经网络中的两个原因导致对抗性漏洞，即数据问题和训练模型问题，通过理论和实验证明标签噪声是对抗性漏洞的一个原因，并提出采用对抗性训练方法可以解决该问题，同时发现表示学习对此也有很大影响。

Jul, 2020

现实中的深度学习可能不容易适应

研究表明温和过拟合现象对过度参数深度学习模型的成功提供了深刻见解。本文探讨了现实世界中的温和过拟合现象，并发现对于在 ImageNet 数据集上训练 ResNet 模型等任务，模型不会温和拟合。在这个较轻的过参数化设置下，我们的分析确定了一种新现象：在标签噪声存在的情况下，温和过拟合可能会失败。此外，我们的工作强调了理解欠拟合环境中的隐式偏差作为未来方向的重要性。

Jun, 2022