通过对深度残差网络的构建块传播表达式的分析，本文提出了一种新的残差单元，使用 identity mappings 作为跳跃连接和添加激活后，可以让前向和反向信号直接从一个块传播到任何其他块，这样可以使训练更容易并提高泛化性能。最终，我们在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了更好的结果。

Mar, 2016

利用加权因子来衰减残差网络内部的标识快捷方式，大大提高了最先进的自监督掩码自编码（MAE）范式中的语义特征学习。我们在 MAE 的 VIT-B/16 骨干网络中对标识快捷方式进行了修改，将 ImageNet 上的线性探测准确度从 67.3% 提升至 72.3%。这个显著差距表明，残差连接结构在促进梯度传播方面发挥了重要作用，但由于将较浅层次的表示注入到更深层次中，它可能对抽象学习的能力产生副作用。我们通过固定公式逐渐减少标识连接的贡献来解决这个问题，这不会影响网络的可训练性。通过分析我们修改后的残差网络学习到的表示，我们发现低有效特征排名与下游任务性能之间存在相关性。

Apr, 2024

本研究提出了一种深度残差输出映射方法，通过层与层之间的随机失活，更好地捕捉输出空间的结构，避免过拟合，经实验证明有助于提高自然语言生成任务的性能。

May, 2019

本文中，我们设计了一种使用残差学习的卷积神经网络，并研究了其对于嘈杂的远程监督关系抽取任务的影响，结果表明即使在只有 9 层 CNN 的情况下，使用恒等映射也可以显著提高远程监督关系抽取的性能。

Jul, 2017

研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

Oct, 2017

ResNet 架构在深度学习中得到广泛采用，通过使用简单的跳跃连接显著提高性能，但其成功背后的机制仍然大部分未知。本文通过使用剩余雅可比矩阵对其构成的残差块进行线性化，并测量其奇异值分解，在分类任务中进行了对 ResNet 架构的彻底实证研究。我们的测量结果揭示了一个被称为 Residual Alignment (RA) 的过程，该过程具有四个特征，包括中间表示在高维空间中等间隔地嵌入在一条直线上（RA1），残差雅可比左右奇异向量与各个深度之间以及不同深度之间对齐（RA2），全连接 ResNets 的残差雅可比最多具有 C 阶可逆性，其中 C 为类别数量（RA3），残差雅可比的前奇异值与深度成反比（RA4）。RA 在那些泛化良好的模型中始终存在，无论是全连接还是卷积架构，无论深度和宽度如何，无论类别数量如何，而且适用于所有经过测试的基准数据集，但一旦跳跃连接被移除，RA 将不再出现。我们还提出了一个新的数学模型，该现象在我们提出的数学模型中得到验证。这种现象揭示了 ResNet 的残差分支之间的强大对齐性（RA2+4），将中间表示沿着网络线性推进（RA1）直到最后一层，在最后一层中，它们经历了神经崩溃（Neural Collapse）。

Jan, 2024

提出了一种全卷积网络模型，它由一系列身份映射模块和残差在残差架构组成，用于图像去噪。网络结构具有三个独特的特点，能够显著提高噪声去除任务的准确性和图像质量。

Apr, 2020

提出了一种简单的深度 merge-and-run 神经网络架构，通过一种线性幂等函数的组装方式，在并行的残差分支中进行输入平均和残差输入并行处理，不断添加到后续残差块的输出上，大大缩短路径，并提高信息流动和网络的训练难度。与 ResNet 相比，本方法在标准识别任务上表现出更好的性能。

Nov, 2016

本论文从路径分解的角度研究 GNNs 中残差连接的前向和后向传播行为，发现由残差连接路径的二项式分布递归聚合的中位数长度路径控制输出表示，导致 GNNs 深度加深时的过度平滑。基于这些发现，作者提出了一种带有冷启动自适应残差连接和前馈模块的通用深度 GNNs 框架（UDGNN-DRIVE），并进行了大量实验表明其有效性，可通过简单堆叠标准 GNNs 实现非平滑异构数据集上的最新结果。

May, 2022

本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

Apr, 2018