本文提出了可学习的马尔科夫链理论来解释残差神经网络中跳跃连接的行为，并通过引入罚式连接来使模型更加高效。实验结果表明，该方法在多模式翻译和图像识别任务中有着优异的表现。

Sep, 2022

本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。

Jan, 2019

深度神经网络已经在各种图片分类基准测试中显示出优秀的性能，而 ResNet 的一个新的简单的 Dirac 参数化指标，在训练时间计算成本上具有较小的成本，在推理阶段几乎没有任何成本，同时比 ResNet 具有类似的性能，并减少残差网络以及非残差网络的初始化需要。

Jun, 2017

通过使用 SkipNet，结合特定输入实现卷积层跳过的目的。我们提出了一个混合学习算法，以解决非可微分跳过决策的问题，并在四个基准数据集上展示了 SkipNet 可以在保留准确性的基础上减少计算量 30-90%。此外，我们定性评估了门控策略，揭示了图像大小和显著性以及跳过层数之间的关系。

Nov, 2017

通过 Skip-Convolutions 算法，有效利用视频流的时间冗余，将所有卷积替换成 Skip-Convolutions，可以将计算成本降低 3 至 4 倍，同时不会降低准确性，从而显著提高模型压缩和图像效率。

Apr, 2021

本研究探讨长短跳跃连接对全卷积网络进行生物医学图像分割的影响，发现在非常深的 FCN 中同时使用长、短跳跃连接是有益的，并展示了非常深的 FCN 在 EM 数据集上实现了接近最新成果的结果而无需进一步的后处理。

Aug, 2016

深度学习在计算机视觉中取得了显著进展，尤其在图像分类、目标检测和语义分割方面。跳跃连接在深度神经网络架构中起到了重要作用，通过残差学习在训练阶段实现更容易的优化，并在测试阶段提高了准确性。本综述对深度神经网络中跳跃连接的发展进行了全面总结和展望，概述了跳跃连接的简要历史和残差学习在深度神经网络中的发展情况。总结了跳跃连接在训练和测试阶段的有效性，并讨论了在残差学习中使用跳跃连接的未来方向。最后，总结了利用跳跃连接的计算机视觉领域中的重要论文、源代码、模型和数据集，包括图像分类、目标检测、语义分割和图像重建。希望这篇综述能够激发社区中的同行研究人员在各种形式和任务中进一步发展跳跃连接和深度神经网络中的残差学习理论。项目页面可在此 https URL 找到。

May, 2024

本文研究神经网络与高斯过程之间的等价性，并在卷积神经网络上实现了类似的等价性，提出了估计给定神经网络结构下对应高斯过程的蒙特卡罗方法，证实了在无池化层情况下，具有和不具有权重共享的卷积神经网络对应的高斯过程是相同的，表明了经过精心调整的随机梯度下降训练的卷积神经网络性能可以明显优于相应的高斯过程。

Oct, 2018

本文发现跳跃连接的使用允许更轻易生成高度可转移的对抗样本，并提出 Skip Gradient Method。作者使用该方法在 ResNets，DenseNets 和 Inceptions 等 DNN 上进行了全面的攻击。作者认为这一发现不仅推动了有关 DNN 的建筑漏洞的新研究，而且为设计安全的 DNN 架构提出了进一步的挑战。

Feb, 2020

本文通过理论证明，展示了深度学习中残差网络加入跳跃连接可以控制子级集的连接性，且在二层 ReLU 网络的全局最小值以下的任何局部最小值将是非常 “浅” 的，其 “深度” 最多为 O (m^[（η-1）/n])，从而解释了跳跃连接在深度学习中的有效性。

Jun, 2020