本文通过严格的评估探索了不同的深度学习架构，比较它们在公共领域的性能，并识别和披露了重要的实现细节，同时指出了CNN基础表示的几个有用属性，包括输出层维度可以显著降低而不会对性能产生不利影响，以及深浅层方法可以成功共享的方面。

May, 2014

本文通过使用小的卷积滤波器的架构，对不断增加深度的网络的精度进行了全面评估，表明通过将深度推到16至19个权重层，可以显著提高以往技术水平，并在ImageNet Challenge 2014中获得了第一和第二名。我们还证明了该表示法在其他数据集上具有很好的泛化性能，并公开了我们表现最佳的两个ConvNet模型，以便进一步研究深度视觉表示在计算机视觉中的应用。

Sep, 2014

本文提出了一种残差学习框架，以优化超过VGG网络8倍深度的残差网络在ImageNet数据集上的分类任务，以及在COCO目标检测数据集上取得了28%的相对提升。

Dec, 2015

本研究发现在Inception网络中加入残差连接有助于加速训练并提高图像识别性能，同时还提出了几种优化的网络结构，实验结果在ILSVRC 2012分类任务中取得了显著的性能提升。

Feb, 2016

研究深度残差网络（ResNet）、循环神经网络（RNN）和灵长类视觉皮层之间的关系。作者提出了一种将浅层RNN与ResNet进行结合以及一种基于RNN的新型神经网络架构，并通过对CIFAR-10和ImageNet数据集的测试证明了其有效性。

Apr, 2016

采用残差学习和反Huber loss，提出了一种全卷积结构的模型，可通过单个RGB图像估计场景深度图，优于当前所有深度估计方法，且无需后处理技术，能够实时运行。

Jun, 2016

通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在CIFAR-100基准测试上优于其他最先进的技术，并且在CIFAR-10和SVHN基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

Jun, 2016

本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。

Oct, 2017

本文重新研究了经典的ResNet模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列ResNet架构。实验结果表明，这些简单修改的ResNet模型比EfficientNet更快，且在ImageNet上达到了类似的准确性，同时在半监督学习和下游任务转移学习上也有显著提升。

Mar, 2021

ResNet架构在深度学习中得到广泛采用，通过使用简单的跳跃连接显著提高性能，但其成功背后的机制仍然大部分未知。本文通过使用剩余雅可比矩阵对其构成的残差块进行线性化，并测量其奇异值分解，在分类任务中进行了对ResNet架构的彻底实证研究。我们的测量结果揭示了一个被称为Residual Alignment (RA)的过程，该过程具有四个特征，包括中间表示在高维空间中等间隔地嵌入在一条直线上（RA1），残差雅可比左右奇异向量与各个深度之间以及不同深度之间对齐（RA2），全连接ResNets的残差雅可比最多具有C阶可逆性，其中C为类别数量（RA3），残差雅可比的前奇异值与深度成反比（RA4）。RA在那些泛化良好的模型中始终存在，无论是全连接还是卷积架构，无论深度和宽度如何，无论类别数量如何，而且适用于所有经过测试的基准数据集，但一旦跳跃连接被移除，RA将不再出现。我们还提出了一个新的数学模型，该现象在我们提出的数学模型中得到验证。这种现象揭示了ResNet的残差分支之间的强大对齐性（RA2+4），将中间表示沿着网络线性推进（RA1）直到最后一层，在最后一层中，它们经历了神经崩溃（Neural Collapse）。

Jan, 2024