本文发现跳跃连接的使用允许更轻易生成高度可转移的对抗样本，并提出 Skip Gradient Method。作者使用该方法在 ResNets，DenseNets 和 Inceptions 等 DNN 上进行了全面的攻击。作者认为这一发现不仅推动了有关 DNN 的建筑漏洞的新研究，而且为设计安全的 DNN 架构提出了进一步的挑战。

Feb, 2020

本文旨在解决 DenseNet 等全连接神经网络层数过深、计算代价过高的问题，提出 Log-DenseNet 的解决方案，并在标签为空的语义分割方面展现了比 DenseNet 更优的表现。

Oct, 2017

基于现代网络等价性分析，我们发现 ResNet 和 DenseNet 本质上是从同一 “紧密拓扑结构” 派生而来的，只是连接形式不同 -- 加法（称为 “内连接”）vs 连接（称为 “外连接”）。然而，连接的两种形式都具有优势和不足之处。为了结合它们的优点并避免表示学习中的某些限制，我们提出了一种高效，模块化的混合连接网络（MixNet），它配备了灵活的内部连接和外部连接模块。因此，ResNet，DenseNet 和 Dual Path Network（DPN）分别可以视为 MixNet 的特殊情况。此外，我们证明 MixNets 在许多竞争数据集（如 CIFAR-10/100，SVHN 和 ImageNet）上可以实现比最先进体系结构更高的参数效率。

Feb, 2018

本文研究深度卷积神经网络的内部跳跃连接如何进行输出的聚合，提出了在特定深度只聚合少量先前输出的连接结构，并证明这种连接结构比现有的聚合方式在性能优化上更加有效。

Jan, 2018

在这篇论文中，我们研究了密集连接卷积网络（DenseNets）的效果，并发现其在流行的 ResNet 风格架构中被低估。我们通过串联密集连接的方式展示了 DenseNets 的优势，并且进行了架构调整、块重设计和改进训练方法以提高 DenseNets 的性能和内存效率。我们的模型不仅超越了 Swin Transformer、ConvNeXt 和 DeiT-III 等关键架构，还在 ImageNet-1K 等领域展现了接近最新模型的性能，包括 ADE20k 语义分割和 COCO 目标检测 / 实例分割任务。最后，我们提供了以经验为基础的分析结果，揭示了串联连接胜过加法连接的优点，从而引导人们重新偏好 DenseNet 风格的设计。

Mar, 2024

这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

May, 2018

本文研究 ResNet 和 DenseNet 并提出了一种统一的密集求和方法分析它们之间的差异，并通过提出的 DSNet 算法在多个基准数据集上取得了比 ResNet 更好、与 DenseNet 相当的性能，但需要更少的计算资源。

Oct, 2020

通过有限尺寸理论，研究残差网络的信号传播及其依赖残差分支的伸缩，发现最优伸缩参数范围在最大灵敏度范围内，并给出一个理论框架指导 ResNets 的最优伸缩。

May, 2023

深度神经网络已经在各种图片分类基准测试中显示出优秀的性能，而 ResNet 的一个新的简单的 Dirac 参数化指标，在训练时间计算成本上具有较小的成本，在推理阶段几乎没有任何成本，同时比 ResNet 具有类似的性能，并减少残差网络以及非残差网络的初始化需要。

Jun, 2017

研究了跳跃连接技术中规模因子对其效率的影响，提出了递归应用带有层归一化的跳跃连接技术可以显著提高性能并在各种任务包括机器翻译和图像分类技术中具有很好的普适性。

May, 2021