研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

Oct, 2017

ResNet 是一种残差网络，利用快捷连接显著减少了训练的难度，同时在训练和泛化误差方面都实现了很好的性能提升，我们提供了快捷连接 2 的独特理论解释，它可以使训练非常深的模型与浅的模型一样容易，同时我们的实验证明了通过使用快捷连接 2 进行小权重初始化，可以从不同的角度（最终损失、学习动态和稳定性，以及沿着学习过程的海森矩阵的行为）实现显着更好的结果。

Nov, 2016

本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。

May, 2016

研究深度残差网络（ResNet）、循环神经网络（RNN）和灵长类视觉皮层之间的关系。作者提出了一种将浅层 RNN 与 ResNet 进行结合以及一种基于 RNN 的新型神经网络架构，并通过对 CIFAR-10 和 ImageNet 数据集的测试证明了其有效性。

Apr, 2016

本研究发现在 Inception 网络中加入残差连接有助于加速训练并提高图像识别性能，同时还提出了几种优化的网络结构，实验结果在 ILSVRC 2012 分类任务中取得了显著的性能提升。

Feb, 2016

本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

Apr, 2018

该论文探讨了高速公路网络和残差网络的新颖架构，并提出了基于展开迭代估计的另一种观点，该观点直接导致了高速公路和残差网络的构建。

Dec, 2016

深度学习在计算机视觉中取得了显著进展，尤其在图像分类、目标检测和语义分割方面。跳跃连接在深度神经网络架构中起到了重要作用，通过残差学习在训练阶段实现更容易的优化，并在测试阶段提高了准确性。本综述对深度神经网络中跳跃连接的发展进行了全面总结和展望，概述了跳跃连接的简要历史和残差学习在深度神经网络中的发展情况。总结了跳跃连接在训练和测试阶段的有效性，并讨论了在残差学习中使用跳跃连接的未来方向。最后，总结了利用跳跃连接的计算机视觉领域中的重要论文、源代码、模型和数据集，包括图像分类、目标检测、语义分割和图像重建。希望这篇综述能够激发社区中的同行研究人员在各种形式和任务中进一步发展跳跃连接和深度神经网络中的残差学习理论。项目页面可在此 https URL 找到。

May, 2024

本研究旨在扩展残差网络的优点，如快速训练，用于低级视觉问题，即单个图像超分辨率，通过引入跳跃连接和逐渐改变网络形状的策略，该方法在单个图像超分辨率上取得了最新的 PSNR 和 SSIM 结果，并产生了视觉上令人愉悦的结果。

Mar, 2017

本研究比较 ResNets 和 PlnNets 的训练效率、泛化能力、容错率等性能，并探讨了两者之间简化版本的等价性，进而猜测 ResNets 泛化能力更强的原因与其较高的噪音容错能力有关，并通过实验支持了该猜想。

May, 2019