研究了跳跃连接技术中规模因子对其效率的影响，提出了递归应用带有层归一化的跳跃连接技术可以显著提高性能并在各种任务包括机器翻译和图像分类技术中具有很好的普适性。

May, 2021

本文提出了 “破碎梯度” 问题，指出标准前馈网络中梯度之间的相关性随着深度呈指数衰减，导致梯度类似于白噪声；相比之下，具有跳跃连接的体系结构更加抗干扰，梯度呈次线性降低。此外，本文还提出了一种新的 “线性外观”(LL) 初始化方法，可以避免破碎现象，并证明其可以使深度网络更好地进行训练。

Feb, 2017

这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

May, 2018

本文提出了可学习的马尔科夫链理论来解释残差神经网络中跳跃连接的行为，并通过引入罚式连接来使模型更加高效。实验结果表明，该方法在多模式翻译和图像识别任务中有着优异的表现。

Sep, 2022

本文提出一种新的用于量化信息在深度神经网络中流动效率的指标 NN-Mass。经过实验证明，该指标不仅适用于 DenseNet-like CNNs，还适用于 ResNets / WRNs / MobileNets 等其他类型的跳跃连接，并且可以用于设计具有高度压缩性的 DenseNet 和 MobileNets。

Oct, 2019

研究探讨了 skip connection 对深层网络训练中的奇异点造成的影响，证明了 skip connection 可以消除这些奇异点，并在实验中得到了验证。

Jan, 2017

通过使用 SkipNet，结合特定输入实现卷积层跳过的目的。我们提出了一个混合学习算法，以解决非可微分跳过决策的问题，并在四个基准数据集上展示了 SkipNet 可以在保留准确性的基础上减少计算量 30-90%。此外，我们定性评估了门控策略，揭示了图像大小和显著性以及跳过层数之间的关系。

Nov, 2017

深度学习在计算机视觉中取得了显著进展，尤其在图像分类、目标检测和语义分割方面。跳跃连接在深度神经网络架构中起到了重要作用，通过残差学习在训练阶段实现更容易的优化，并在测试阶段提高了准确性。本综述对深度神经网络中跳跃连接的发展进行了全面总结和展望，概述了跳跃连接的简要历史和残差学习在深度神经网络中的发展情况。总结了跳跃连接在训练和测试阶段的有效性，并讨论了在残差学习中使用跳跃连接的未来方向。最后，总结了利用跳跃连接的计算机视觉领域中的重要论文、源代码、模型和数据集，包括图像分类、目标检测、语义分割和图像重建。希望这篇综述能够激发社区中的同行研究人员在各种形式和任务中进一步发展跳跃连接和深度神经网络中的残差学习理论。项目页面可在此 https URL 找到。

May, 2024

通过分析过度参数化的深层残差网络，我们证明了梯度下降学习的网络类是整个神经网络函数类的一个子集，这个子集足够大以保证小的训练误差和测试误差，并且此类网络具有小的泛化差距，这提供了残差网络优于非残差网络的解释。

Oct, 2019

深度神经网络已经在各种图片分类基准测试中显示出优秀的性能，而 ResNet 的一个新的简单的 Dirac 参数化指标，在训练时间计算成本上具有较小的成本，在推理阶段几乎没有任何成本，同时比 ResNet 具有类似的性能，并减少残差网络以及非残差网络的初始化需要。

Jun, 2017