该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

本文通过神经切向核将大型神经网络连接到核方法，探讨了初始化会导致神经网络输出函数在期望附近产生有限大小的随机波动，影响分类的广义误差。我们最终的分析表明，在计算限制条件下，使用几个中间大小的网络，略高于阈值点，对它们的输出求平均，可以获得最小的分类误差。

Jan, 2019

本文主要研究小规模算法生成数据集上神经网络的泛化能力，探讨数据效率、泛化、学习速度等问题，并阐述了小数据集规模下泛化效果提高的过程、超拟合点后仍可能的泛化提升，以及小数据集可能促进过参数神经网络的泛化能力研究。

Jan, 2022

本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

Feb, 2018

本文研究如何选择和创建高质量基准数据的子集以及对于模型的有效学习是否真正需要大型数据集，并计划研究数据修剪和数据创建范式以生成高质量数据。

Mar, 2022

通过不同的深度学习算法以及数据集，我们发现在数据集有限的情况下，模型的复杂度是一个至关重要的因素，我们的研究表明，与过去文献不同的是，在一些配置下，使用低复杂度的卷积神经网络可以达到或超过现有的极限水平。此外，数据扩充也可以大幅提高性能，并且在数据量有限的情况下，dropout 仍然表现出良好的正则化效果。

Mar, 2020

过参数化模型，如深度神经网络，具有通过较少的采样数据点恢复目标函数的有趣能力。本研究集中研究了单神经元目标恢复场景，并系统地考察了初始化和样本大小对双层神经网络性能的影响。我们的实验证明，更小的初始化尺度与改善泛化有关，并确定了一个关键数量，称为 “初始不平衡比”，它管理着小初始化下的训练动力和泛化能力，该结果得到理论证明的支持。此外，我们经验性地划分了两个关键的样本大小阈值，称为 “乐观样本大小” 和 “分离样本大小”，与已有理论框架相契合。我们的结果表明了模型恢复目标函数能力的一个转变：在乐观样本大小之下，恢复是不可行的；在乐观样本大小时，通过零测度初始化集合，恢复变得可行。当达到分离样本大小时，可以成功恢复目标函数的初始化集合从零测度转变为正测度。这些从简化的背景中得出的见解，为理解过参数化神经网络中完美泛化的复杂性提供了观点。

May, 2024

本文研究了语言模型性能对交叉熵损失计算的经验性规律，发现损失与模型大小、数据集大小和训练所用计算量呈幂律关系，而网络宽度或深度变化对性能影响较小，最优的计算效率可通过训练大型模型、使用适量数据并在达到最佳性能前停止训练来实现。

Jan, 2020

本文概述了在大规模深度学习中如何优化模型的准确性和效率，讨论了优化中使用的算法、大批量训练中出现的泛化差距问题，并回顾了最新的解决通信负担和减少内存占用的策略。

Nov, 2021