该研究表明，多层神经网络通过不同层进行分层学习，缩小了与 “单次学习” 算法（如核方法）相比的样本复杂度，而这种思想与 “反向特征校正” 过程一起，又加深了深度网络的理论基础，同时也证明了 ResNet 相对于其他学习方法具有计算复杂度上的优势。

May, 2019

本研究旨在了解深度 ResNets 的收敛性，并给出一般深度神经网络的矩阵 - 向量描述和明确表达式，以研究两个涉及无限非方形矩阵积的级数的收敛性，进而建立 ResNets 逐点收敛的充分条件，并在基准机器学习数据上进行实验证实我们的结论。

May, 2022

本研究利用几何条件证明了多跳连接可以改善优化过程中的局部极小值问题，并证明了在 ResNet 的优化空间中的任何关键点要么优于最佳线性预测器，要么其 Hessian 矩阵有严格负的特征值。同时，我们还证明了深度残差网络的 “接近恒等区域” 的深度无关上界。

Jul, 2019

本文研究了 ReLU 激活函数下宽残差网络在球面上的泛化能力，并且证明了残差网络核（RNK）在宽度趋近于无穷时一致收敛于残差神经切向核（RNTK），最终说明了残差网络的泛化误差总是趋近于 RNTK 的核回归误差，而早停策略下的宽残差网络可以达到最优健壮性，同时也证明了无法对过度拟合数据的残差网络进行泛化。

May, 2023

深度残差神经网络（ResNets）在各种实际应用中取得了显著的成功。本文确定了适当的缩放因子（用 $\alpha$ 表示），用于深度宽 ResNets 的残差分支，以实现良好的泛化能力。我们证明，如果 $\alpha$ 是一个常数，则深度趋于无穷时，由残差神经切向核（RNTK）引起的函数类是渐近不可学习的。我们还强调了一个令人惊讶的现象：即使允许 $\alpha$ 随着深度 L 的增加而减小，退化现象仍可能发生。然而，当 $\alpha$ 与 L 迅速减小时，使用深度 RNTK 进行早停止的核回归可以达到最小最大速率，前提是目标回归函数位于与无穷深度 RNTK 相关联的再生核希尔伯特空间中。我们对合成数据和实际分类任务（如 MNIST、CIFAR10 和 CIFAR100）的模拟研究支持我们对 $\alpha$ 选择的理论标准。

Mar, 2024

本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

Apr, 2019

本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

Apr, 2018

本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

Dec, 2019

通过有限尺寸理论，研究残差网络的信号传播及其依赖残差分支的伸缩，发现最优伸缩参数范围在最大灵敏度范围内，并给出一个理论框架指导 ResNets 的最优伸缩。

May, 2023

本文利用函数梯度的概念，采用 ResNet 的梯度提升方法建立了一种名为 ResFGB 的新型分类任务方法，实验结果优于 LightGBM 等现有最先进的方法，具有较强的数据分析能力。

Feb, 2018