本篇论文通过定性视觉和实证分析，研究残差网络中残差跳转连接的作用，揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义，证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。

Jan, 2017

本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

Apr, 2019

本研究利用几何条件证明了多跳连接可以改善优化过程中的局部极小值问题，并证明了在 ResNet 的优化空间中的任何关键点要么优于最佳线性预测器，要么其 Hessian 矩阵有严格负的特征值。同时，我们还证明了深度残差网络的 “接近恒等区域” 的深度无关上界。

Jul, 2019

本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

Apr, 2018

研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

Oct, 2017

本文研究 ResNet 和 DenseNet 并提出了一种统一的密集求和方法分析它们之间的差异，并通过提出的 DSNet 算法在多个基准数据集上取得了比 ResNet 更好、与 DenseNet 相当的性能，但需要更少的计算资源。

Oct, 2020

本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。

May, 2016

本文通过共享同一空间尺度下的残差块中卷积层的权重，提出了一种名为 ShaResNet 的深度残差网络，使网络参数得到显著减少，同时在图像分类任务中保证了准确率。

Feb, 2017

本篇论文分析了 ResNet 的简化模型，并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外，本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力，而无需调整初始权重值。

Sep, 2017

这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

May, 2018