介绍了一种新的架构，名为高速公路网络，可以用梯度下降直接训练具有数百层的深度神经网络，并通过门控单元控制网络中的信息流动，从而易于解决深度神经网络训练的问题。
May, 2015
本文介绍了一种名为 “HighWay Network” 的新型深度神经网络模型，采用门控单元对信息流进行监控，以实现高效的信息传递，从而克服了训练深度神经网络的问题。
Jul, 2015
本篇论文通过定性视觉和实证分析，研究残差网络中残差跳转连接的作用，揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义，证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。
Jan, 2017
本文旨在指出在深度卷积神经网络中引入跳过连接从而解决挥发的渐变问题的新方案，并提出将指数线性单元用于残差网络，以显著减小测试误差。
Apr, 2016
本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。
May, 2016
本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。
Oct, 2017
本文提出了一种基于深度残差网络和 U-Net 的语义分割神经网络模型，可用于从航空图像中提取道路区域，并通过实验验证了该模型的优越性。
Nov, 2017
研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。
使用神经残差扩散模型 (Neural Residual Diffusion Models) 框架，引入一系列可学习的门控残差参数来改善生成网络的可扩展性和生成内容的保真度与一致性。
Jun, 2024
通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。
Sep, 2023