Jan, 2024

残差对齐：揭示残差网络的机制

PDF
TL;DRResNet 架构在深度学习中得到广泛采用，通过使用简单的跳跃连接显著提高性能，但其成功背后的机制仍然大部分未知。本文通过使用剩余雅可比矩阵对其构成的残差块进行线性化，并测量其奇异值分解，在分类任务中进行了对 ResNet 架构的彻底实证研究。我们的测量结果揭示了一个被称为 Residual Alignment (RA) 的过程，该过程具有四个特征，包括中间表示在高维空间中等间隔地嵌入在一条直线上（RA1），残差雅可比左右奇异向量与各个深度之间以及不同深度之间对齐（RA2），全连接 ResNets 的残差雅可比最多具有 C 阶可逆性，其中 C 为类别数量（RA3），残差雅可比的前奇异值与深度成反比（RA4）。RA 在那些泛化良好的模型中始终存在，无论是全连接还是卷积架构，无论深度和宽度如何，无论类别数量如何，而且适用于所有经过测试的基准数据集，但一旦跳跃连接被移除，RA 将不再出现。我们还提出了一个新的数学模型，该现象在我们提出的数学模型中得到验证。这种现象揭示了 ResNet 的残差分支之间的强大对齐性（RA2+4），将中间表示沿着网络线性推进（RA1）直到最后一层，在最后一层中，它们经历了神经崩溃（Neural Collapse）。
resnet architectureresidual alignmentresidual jacobiansclassification tasksneural collapse
发现论文，激发创造
  • 残差网络的残差网络：多层残差网络

    本文提出一种新的残差网络架构 RoR，通过在现有的残差网络中添加层次化的快捷连接实现优化，从而提升其学习能力，进而提高性能，实验结果展示 RoR 在各种残差网络类型中的有效性和通用性，并在多个数据集上达到最佳性能表现。

    Aug, 2016

  • 可逆残差网络

    本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。

    Nov, 2018

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • ResNet 为什么有效？残差可以泛化

    本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

    Apr, 2019

  • 从架构角度重新审视残差网络的对抗鲁棒性

    本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列 RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了 AutoAttack 鲁棒准确率的最新记录。

    Dec, 2022

  • Inception-v4，Inception-ResNet 和残差连接对学习的影响

    本研究发现在 Inception 网络中加入残差连接有助于加速训练并提高图像识别性能，同时还提出了几种优化的网络结构，实验结果在 ILSVRC 2012 分类任务中取得了显著的性能提升。

    Feb, 2016

  • 黎曼残差神经网络

    本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。

    Oct, 2023

  • 规范化保存：为什么残差网络可以变得非常深？

    这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

    May, 2018

  • 残差网络中的身份连接提高噪声稳定性

    本研究比较 ResNets 和 PlnNets 的训练效率、泛化能力、容错率等性能，并探讨了两者之间简化版本的等价性，进而猜测 ResNets 泛化能力更强的原因与其较高的噪音容错能力有关，并通过实验支持了该猜想。

    May, 2019

  • 深度神经网络的聚合残差变换

    研究了一种用于图像分类的高度模块化的网络架构，通过增加变换的数量维度，提高其分类准确性。

    Nov, 2016