通过算法依赖的综合误差界推导，论文解释了过度参数化的深度神经网络在合适的随机初始化下，使用梯度下降法可以获得任意小的泛化误差。

Feb, 2019

本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

Apr, 2019

研究了具有跳跃连接的深度神经网络模型的梯度下降算法的行为。证明了在超参数化区域内，通过适当的初始化，梯度下降可以以指数速度找到全局最小值。建立了沿着梯度下降路径的泛化误差评估，并得出在目标函数是由初始化定义的核定义的再生核希尔伯特空间（RKHS）时，沿着梯度下降路径存在可推广的提前停止解的结论。此外，还证明了 GD 路径与相关随机特征模型给出的函数之间的一致接近。因此，在这种 “隐式正则化” 环境中，深度神经网络模型退化为一个随机特征模型。结果适用于任何宽度大于输入维度的神经网络。

Apr, 2019

简述：对深度学习的理论研究逐渐深入，从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式，已经有了一些解释；通过在分类任务中使用经典的均匀收敛结果，我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性，从而解决了与深度网络泛化性能相关的一些谜团。

Aug, 2019

本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。

Jun, 2019

本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

我们通过引入一种新的神经网络族的 Lipschitz 属性的表征，建立了一种基于边际的数据相关的广泛深度神经网络泛化误差界限，将其与深度、宽度以及网络的雅可比矩阵联系起来。和现有的结果相比，我们实现了明显更紧的泛化下界，并且还表明，对于损失有界的情况，可以进一步改善泛化下界。除了一般的前馈深度神经网络外，我们的结果可以应用于推导流行的体系结构，包括卷积神经网络和残差网络。在实现与上一项艺术相同的泛化误差的同时，我们的误差允许选择更大的权重矩阵参数空间，从而为神经网络提供更强的表达能力。其中还提供了数值评估来支持我们的理论。

Jun, 2018

研究深度神经网络的训练和泛化，在过度参数化的条件下，通过神经切向随机特征模型 (NTRF) 来限制泛化误差，并建立了神经切向内核 (NTK) 的联系。

May, 2019

本文研究基于连续时间参数的 ODE 类模型及其泛化界限，并探讨其与深度残差网络的类比关系，说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。

May, 2023

通过有限尺寸理论，研究残差网络的信号传播及其依赖残差分支的伸缩，发现最优伸缩参数范围在最大灵敏度范围内，并给出一个理论框架指导 ResNets 的最优伸缩。

May, 2023