本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

本文通过分析神经网络在超参数化情况下的学习理论，证明了神经网络能够通过SGD算法简单地学习某些重要的概念并且样本复杂度几乎独立于网络参数的数量。此外，本文还建立了一个神经网络的二次近似概念，并将其与如何逃离鞍点的SGD理论联系起来。

Nov, 2018

本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

Feb, 2019

本文研究神经网络架构如何影响训练速度，引入“梯度混乱”概念来分析。实验结果表明，增加神经网络宽度可以降低梯度混乱从而提高模型训练效率，而增加深度则会使训练效率降低。

Apr, 2019

本文研究隐式偏差和隐式正则化对随机凸优化中随机梯度下降的影响，提供了一种简单构造来排除控制SGD泛化能力的分布独立的隐式正则化器的存在，并且证明了分布依赖的一般类隐式正则化器不能解释泛化的学习问题，说明了仅仅通过隐式正则化的特性来全面解释算法的泛化性能存在重大困难。

Mar, 2020

本文旨在通过设计包含不同时简单性的多个预测特征的数据集，捕捉实际训练数据中的非鲁棒性，从理论和实证研究中发现简洁性偏见在训练神经网络中的作用及其对泛化和鲁棒性的影响，提出新算法以避免简洁性偏见的缺陷。

Jun, 2020

本研究针对模型学习速率为中等并逐渐降低的情况，研究了SGD和GD在超参数调节中的常见行为，以此试图解决机器学习中的算法偏差问题，并得出了不同方向偏差可能导致最终预测结果差异的结论。

Nov, 2020

本文研究了随机梯度下降在对角线线性网络上的动态规律，证明了它比梯度下降的解具有更好的泛化性能，并发现收敛速度控制偏见效应的大小，结果支持了结构化噪声可以引起更好泛化性能的理论结论。

Jun, 2021

本文探讨了过参数化神经网络的泛化问题，传统方法通常基于插值观点，未能与更复杂的任务相适应。研究表明，在训练样本数超过某一优化阈值后，模型更倾向于向简单解收敛，而非简单插值，这一现象有助于改善模型的泛化能力，并显著降低测试损失。

Oct, 2024

本研究解决了使用权重衰减（WD）训练神经网络时低秩权重矩阵的隐式偏差问题。我们证明了ReLU神经网络经过充分训练后，权重矩阵近似为秩为二的矩阵。通过实证研究，我们展示了WD是在回归和分类任务中引导这一低秩偏差的必要条件，并提供了改进的泛化误差边界。

Oct, 2024