- 深度神经网络中的跳跃连接在计算机视觉和医学图像分析中的应用：一项调研
深度学习在计算机视觉中取得了显著进展，尤其在图像分类、目标检测和语义分割方面。跳跃连接在深度神经网络架构中起到了重要作用，通过残差学习在训练阶段实现更容易的优化，并在测试阶段提高了准确性。本综述对深度神经网络中跳跃连接的发展进行了全面总结和 - 扩散采样中跳过调谐的令人惊讶的有效性
通过引入 UNet 架构，扩散概率模型已成为图像生成任务中的主导力量，文章提出了 Skip-Tuning 方法，在跳跃连接上实现了 100% 的 FID 改进，挑战了 ODE 采样器的限制。
- 重新思考生物医学图像分割中的 U-net 跳跃连接
通过分析 U-net 架构的神经网络，发现其网络层对于领域转移非常敏感，特别是在浅层网络中。在移除最上层的跳跃连接之后，性能得到了显著提升，不仅对于领域转移具有积极的影响，对于领域内测试数据也有 10％至 13％的性能提升。
- 基于测量边界的速率自适应图像压缩感知网络
本文提出了一种基于测量上界理论的率自适应图像压缩感知网络 (MB-RACS) 框架，其旨在根据传统测量上界理论自适应确定每个图像块的采样率。此外，我们还提出了一种多阶段率自适应采样策略，通过前几次采样获得的信息顺序调整采样率分配，并使用牛顿 - 通过可学习的跳跃连接缩小 U-Net 中的语义差距：以医学图像分割为例
在医学图像分割中，通过探索 U-Net 中 skip 连接的潜在弱点，我们提出了 UDTransNet 框架，使用 Dual Attention Transformer (DAT) 和 Decoder-guided Recalibratio - 融合 U-Net：增强跳跃连接的病理图像分割 U-Net
通过在 U-Net 结构中加入融合模块以减小编解码器之间的语义差距，我们提出了一种名为 FusionU-Net 的新型分割网络，经过在多个病理图像数据集上的广泛实验评估，证明了 FusionU-Net 相较于其他竞争方法具有更好的性能，我们 - 加密数据的高效跳连实现，用于安全推理
本文介绍了使用狄拉克参数化和共享源跳转连接来减少 Homomorphic Encryption 中深度神经网络执行模型推理的成本。
- ICMLDRew: 动态重连的消息传递与延迟
本文提出了一种适用于任何 MPNN 体系结构的框架，通过执行分层依赖的重连来确保图逐渐密集，同时提出了一种可延迟的机制，允许基于层和彼此的距离，节点之间进行跳过连接，并在几个长程任务上验证了该方法，表明它胜过了图转换器和多跳 MPNN。
- ResNets 中的残留缩放优化信号传播
通过有限尺寸理论，研究残差网络的信号传播及其依赖残差分支的伸缩，发现最优伸缩参数范围在最大灵敏度范围内，并给出一个理论框架指导 ResNets 的最优伸缩。
- ICLR去除快速通道的深度 Transformer: 修改自注意力实现准确信号传递
通过设计参数初始化、偏差矩阵和位置相关的重缩放的组合，实现信号在无量纲变压器中的可信传播，使得在 WikiText-103 和 C4 上，我们的方法能够使没有标准化的深度变压器以与标准变压器相同的速度训练，并使深度无量纲变压器在大约 5 倍 - 操作级渐进可微架构搜索
本文介绍了一种名为 OPP-DARTS 的操作级渐进可微分神经结构搜索算法，通过逐步增加候选操作来有效地避免跳跃连接聚合，并同时探索更好的架构。实验结果表明，我们的方法在 CIFAR-10 上的性能优于标准 DARTS，迁移性能也超越了标准 - 使用跳过连接进行大脑信号的无主题分类
研究了使用脑电波编码词语的可行性，提出在卷积神经网络中使用跨层连接以帮助信息流动，并使用测试数据结果表明，在此情况下分类性能得到显着提高。
- AAAI使用循环图神经网络学习图算法
针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。
- 消失的决策边界复杂度与强第一组件
通过研究神经网络的决策边界，发现深度学习模型的边界相对简单，但通过先前模型的决策边界可以研究最终模型的泛化能力，此外还探讨了深度模型的第一主成分的强度、优化器的奇异性以及 ResNet 中跳跃连接的影响。
- 重新思考编码器 - 解码器网络中的跳跃连接用于单目深度估计
提出了一种基于全连接跳跃连接网络（FSCN）和自适应连接模块（ACM）的单目深度估计任务的深度学习模型，通过连接深度编码器与解码器的不同分辨率特征，利用深度编码器中浅层特征图的信息进行更准确的深度估计，并在 KITTI 数据集和 NYU D - 残差乘性滤波网络用于多尺度重建
通过引入跳连接和新的初始化方案，我们提出了一种新的坐标网络架构和训练方案，实现了对学习重建的频率支持的细粒度控制，并在多尺度优化的背景下解决了粗到中等估计的问题，该方法在单粒子冷冻电镜重建的实验中，取得了与最先进技术相媲美的高分辨率多尺度结 - SoftPool++: 一种点云补全的编码解码网络
我们提出了一种新的卷积算子，用于点云完成的任务。我们的方法的一个显著特点是与相关工作相反，它不需要任何最大池化或体素化操作。我们的算子不断提取具有置换不变性的特征，以保留细粒度的几何细节，通过对特征激活的软池化，从而学习编码器中的点云嵌入。 - 加强微分可搜索架构的鲁棒性、效率和多样性
本文提出自适应通道分配的可微分架构搜索方法 (ACA-DARTS)，通过从运算空间中删除跳跃连接的方法，自动重新填充评估阶段的跳跃连接，解决由缺乏跳跃连接引起的性能降级问题，并在整个 ImageNet 数据集上直接搜索，实验表明 ACA-D - BA-Net：用于深度卷积神经网络的桥接注意力
本文提出了 Bridge Attention Net (BA-Net) 这一简单的策略，通过跳跃连接将前面的卷积层的输出连接起来以提高通道注意力机制的性能，并在实验中展示其比现有方法在精度和速度方面均取得了最先进的性能，这表明 Bridge - 图神经网络的优化：跳连和更深层的隐式加速
本文研究 GNN 在梯度动力学方面的优化性质，并证明了在某些情况下，通过跳跃连接、更深或更好的标签分布可以提高训练速度和最终结果的优化，因此建议在实践中使用具有跳跃连接的深度 GNN。