深度神经网络的惰性训练下的良性过拟合

ICMLMay, 2023

深度神经网络的惰性训练下的良性过拟合

Benign Overfitting in Deep Neural Networks under Lazy Training

Zhenyu Zhu, Fanghui Liu, Grigorios G Chrysos, Francesco Locatello, Volkan Cevher

TL;DR该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

Abstract

This paper focuses on over-parameterized deep neural networks (DNNs) with relu activation functions and proves that when the data distribution is well-separated, DNNs can achieve Bayes-optimal test error for classification while obtaining (nearly) zero-training error under the lazy tra

overparameterized deep neural networks relu activation functions benign overfitting lipschitz constant neural tangent kernel

发现论文，激发创造

神经网络中良性过拟合现象的理解探讨

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

从 tempered 到 benign 的 ReLU 神经网络过拟合

本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

May, 2023

固定维度下核函数和神经网络的良性过拟合

本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

May, 2023

神经网络中的插值相变：懒惰训练下的记忆和泛化

在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

Jul, 2020

输入维度适中的带有泄漏 ReLU 的网络中的良性过拟合

该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

Mar, 2024

关于过拟合两层神经切向核模型的泛化能力

本文研究具有 ReLU 激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的 min（L2）-norm 过拟合解的泛化性能，并显示随着神经元数目 p 的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的 “双峰现象” 的特征。

Mar, 2021

两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合

通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率，并且能够高效地学习存在高度相关特征的异或类型分类任务。

Oct, 2023

过拟合的分类：良性，适度和灾难性

该论文研究了神经网络等插值方法是否能够在存在噪声的情况下，拟合训练数据而不会表现出灾难性的测试性能，尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释，并首次系统研究了 “温和过拟合” 的性质及在核（岭）回归中的表现，以及在深度神经网络中的实验结果。

Jul, 2022

线性回归中的良性过拟合

研究表明，过度拟合是深度学习方法的主要问题之一，但当训练中使用最小规范化规则时，线性回归问题中的过度拟合也可以实现高精度预测，需要超参数数量显著超过样本大小。

Jun, 2019

善意过拟合对对抗鲁棒性的惊人有害性

将方差过高的机器学习模型用于对付具有恶意目标的数据可能会导致对抗性风险的增加。

Jan, 2024