- ICLRDARTS-: 无需指标强化的稳定性能提升
本文针对不同 iable architecture search（DARTS）的长期性能不稳定问题，提出一种名为 DARTS - 的辅助 skip connection 的方法来解决它，从而提高其鲁棒性。
- ICML深度等距学习用于视觉识别
该研究论文表明，即使没有标准的图像识别基准测试中的归一化和跳过连接技术，也可以通过在初始化和训练期间强制卷积核接近等距来训练深度神经网络，并达到令人惊讶的好性能，进一步实验证明，如果与跳过连接结合使用，可以达到与标准 ResNet 相当甚至 - 基于理论的路径正则化差分网络结构搜索
通过对 DARTS 进行理论分析，我们证明了带有更多跳跃连接的体系结构可以比其他候选体系结构更快地收敛，从而被 DARTS 选中。基于这个结果，我们提出了一种理论启发式的路径正则化 DARTS（path-regularized DARTS） - IJCAI跳连接是否可证明改善神经网络损失函数的梯度图景？
本文通过理论证明，展示了深度学习中残差网络加入跳跃连接可以控制子级集的连接性，且在二层 ReLU 网络的全局最小值以下的任何局部最小值将是非常 “浅” 的，其 “深度” 最多为 O (m^[（η-1）/n])，从而解释了跳跃连接在深度学习中 - 噪声可微架构搜索
本文提出了一种名为 NoisyDARTS 的神经网络结构搜索方法，通过在训练过程中注入随机噪声，阻碍在跳跃连接上的梯度传播，以防止神经网络因残差结构而过于追求信息流动的速度而导致的性能下降问题，并证明注入噪声可以平滑损失面貌，从而使优化更为 - ICLR跳跃连接很重要：关于使用 ResNets 生成对抗性样本的可转移性
本文发现跳跃连接的使用允许更轻易生成高度可转移的对抗样本，并提出 Skip Gradient Method。作者使用该方法在 ResNets，DenseNets 和 Inceptions 等 DNN 上进行了全面的攻击。作者认为这一发现不仅 - 神经网络激活函数的作用
本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。
- ICCVSCARLET-NAS: 在权值共享神经架构搜索中实现稳定性和可伸缩性的平衡
本文研究如何通过引入等变可学习的稳定器来解决跳跃连接引起的特征不一致性问题，从而提高神经架构搜索的效率和准确性，最终设计出了一系列表现优异的神经网络结构。
- MoBiNet：用于图像分类的移动二进制网络
本文介绍了一种利用 MobileNet 二值化来进行激活函数和模型权重处理的简单而高效的方案，同时提出了一个新的神经网络结构 MoBiNet，通过跳连接来防止信息丢失和梯度消失，以便更好地进行训练，并在 ImageNet 数据集上进行了实验 - 深度神经网络的逼近空间
研究深度神经网络的表现力，将其复杂性衡量为连接数或神经元数，通过近似理论建立了逼近空间，研究 skip-connections 和非线性对逼近空间的影响，将其与 Besov 空间联系起来，发现如果深度足够，即使函数平滑度很低，也能够很好地通 - 自适应采样快速图表示学习
本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。
- 规范化保存：为什么残差网络可以变得非常深？
这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResN - NAIS-Net: 从非自主微分方程构建稳定的深度神经网络
本文介绍了非自治输入输出稳定网络（NAIS-Net），这是一种非常深的架构，每个堆叠处理块都来自于时间不变的非自治动力系统，通过跳跃连接实现非自治，从而允许强制实现稳定性，使得块能够自适应地展开到具体的模式处理深度，该网络具有非平凡的利普希 - 大词汇连续语音识别的深度 FSMN
本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Pho - ECCV稀疏聚合卷积网络
本文研究深度卷积神经网络的内部跳跃连接如何进行输出的聚合，提出了在特定深度只聚合少量先前输出的连接结构，并证明这种连接结构比现有的聚合方式在性能优化上更加有效。
- NIPS均场剩余网络：朝向混沌的边缘
本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。
- ICLR梯度爆炸问题探究 —— 定义、普遍性、影响、来源、权衡和解决方案
该研究指出在大多数 MLP 体系结构中，梯度消失问题仍然存在，而 ResNets 拥有较低的梯度并且可以绕过梯度消失现象，使得更深层的神经网络可以有效地训练，这是因为引入跳过连接会简化网络数学模型，可能是其成功的主要原因。
- Log-DenseNet: 如何稀疏化 DenseNet
本文旨在解决 DenseNet 等全连接神经网络层数过深、计算代价过高的问题，提出 Log-DenseNet 的解决方案，并在标签为空的语义分割方面展现了比 DenseNet 更优的表现。
- ACL使用密集连接循环神经网络改善语言模型
本文提出将高度连接层引入循环神经网络中，对其在 Penn Treebank 语言建模任务中的性能进行评估，结果显示与标准 2 层 LSTM 模型相比，可以减少 6 倍的参数，使用仅几层堆叠的高度连接层即可显著降低困惑度。
- MM基于轻量级残差卷积神经网络的单张图像超分辨率
本研究旨在扩展残差网络的优点，如快速训练，用于低级视觉问题，即单个图像超分辨率，通过引入跳跃连接和逐渐改变网络形状的策略，该方法在单个图像超分辨率上取得了最新的 PSNR 和 SSIM 结果，并产生了视觉上令人愉悦的结果。