探讨在有噪声标签的情况下，过度参数化的深度神经网络的正则化方法，其中比较有效的包括参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量，实验结果表明这些方法能够有效提高模型的泛化性，并且泛化误差的上界独立于网络的大小，可达到无噪声标签情况下的水平。

May, 2019

研究发现，通过过度参数化，深度神经网络能够在插值训练数据的同时实现卓越的泛化性能，并且在测试误差上具有双下降现象，该现象可以通过集成平均估计器进行抑制。

Mar, 2020

在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验NT内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

Jul, 2020

本文研究具有ReLU激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的min（L2）-norm过拟合解的泛化性能，并显示随着神经元数目p的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的“双峰现象”的特征。

Mar, 2021

探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功，以及其之所以具有超预期的表现，推断是因为过度参数化可以让梯度方法寻找插值解，这些方法隐含地施加正则化，并且过度参数化导致了良性过拟合等基本原理构成了这个现象，同时摘要了最新的理论进展，重点考虑了神经网络的线性区域。

Mar, 2021

研究表明温和过拟合现象对过度参数深度学习模型的成功提供了深刻见解。本文探讨了现实世界中的温和过拟合现象，并发现对于在ImageNet数据集上训练ResNet模型等任务，模型不会温和拟合。在这个较轻的过参数化设置下，我们的分析确定了一种新现象：在标签噪声存在的情况下，温和过拟合可能会失败。此外，我们的工作强调了理解欠拟合环境中的隐式偏差作为未来方向的重要性。

Jun, 2022

本研究发现，神经网络的光滑度才是决定良性过拟合的关键，只有在评估器的导数充分大时才能实现良性过拟合。我们证明在固定维度中，光滑度适中的良性过拟合是不可能的，在回归模型中，采用一系列具有大导数的峰形平滑内核可以实现良性过拟合。通过添加小的高频波动到激活函数中，可以在无限宽的神经网络中实现良性过拟合，从而提高在低维数据集上的泛化性能。

May, 2023

本文研究过参数神经网络的过拟合现象，并证明了在不同的维度下会出现不同种类的过拟合现象，包括良性过拟合和温和过拟合，并解释了这些现象与样本大小、网络结构等因素的相关性。

May, 2023

本文探讨了使用梯度下降和hinge loss在嘈杂数据上训练的两层ReLU网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。

Jun, 2023

该研究针对二元分类任务，使用带有折线损失的两层泄漏整流线性单元网络，研究了良性过拟合问题，通过对模型参数的信号噪声比进行特征化，发现高信噪比出现良性过拟合，低信噪比出现有害过拟合，并将良性和非良性过拟合归因于近似边际最大化特性，同时降低了训练数据的正交性要求。

Mar, 2024