本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

本研究提出了基于单元能力的复杂度度量，为两层ReLU网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的Rademacher复杂性下限，该下限优于之前神经网络的容量下限。

May, 2018

通过PAC-Bayes范式描述的解的局部特性，证明了模型泛化能力与Hessian、Lipschitz常数和参数的尺度有关，并提出了泛化指标及相应的算法。

Sep, 2018

该论文分析了一个简单的2层ReLU网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。

Jan, 2019

本文提出并研究了神经网络刚度的概念并探讨了其与泛化的关系，研究表明刚度与学习率相关，同时在MNIST、FASHION MNIST、CIFAR-10/100等数据集上进行了实验。

Jan, 2019

本文探讨了神经网络架构的泛化能力，发现训练和泛化在整洁和结构化的数据集上很容易，在嘈杂和非结构化的数据集上则更难。通过使用“信息”空间和“噪声”空间，本文证明了即使是常数宽度的神经网络，对于足够好的数据集也可以证明泛化。

Jun, 2019

本文旨在通过设计包含不同时简单性的多个预测特征的数据集，捕捉实际训练数据中的非鲁棒性，从理论和实证研究中发现简洁性偏见在训练神经网络中的作用及其对泛化和鲁棒性的影响，提出新算法以避免简洁性偏见的缺陷。

Jun, 2020

本研究着重于探讨fine-tuning方法对目标任务迁移学习的一般化能力以及过拟合的问题, 结论发现Hessian是影响fine-tuning方法一般化能力的重要因素, 并设计了一种具有一般化误差保证的基于Hessian距离的fine-tuning方法, 在实证研究中取得了优于已有方法的精度表现, 方差也更小。

Jun, 2022

本文提出了一种针对Single Domain Generalization的新策略——Spectral Adversarial Data Augmentation，通过提高模型对高敏感频率的学习能力，从而有效提高模型的泛化能力，各项实验均超过目前Single-DG方法的最佳表现。

Dec, 2022

尽管进行了广泛的研究，但超参数化神经网络为何能够泛化的根本原因仍然不清楚。本研究通过理论和实证研究指出，对于两层ReLU网络，（1）平坦确实意味着泛化；（2）存在不泛化的最平坦模型，锐度最小化算法无法泛化；（3）最令人惊讶的是，存在不泛化的最平坦模型，但锐度最小化算法仍然可以泛化。我们的结果表明，锐度与泛化之间的关系微妙地依赖于数据分布和模型架构，锐度最小化算法不仅通过最小化锐度来实现更好的泛化。这需要寻找超参数化神经网络泛化的其他解释。

Jul, 2023