ICMLFeb, 2017

破碎渐变问题：如果 ResNets 是答案，那问题是什么？

PDF
TL;DR本文提出了 “破碎梯度” 问题，指出标准前馈网络中梯度之间的相关性随着深度呈指数衰减，导致梯度类似于白噪声；相比之下，具有跳跃连接的体系结构更加抗干扰，梯度呈次线性降低。此外，本文还提出了一种新的 “线性外观”(LL) 初始化方法，可以避免破碎现象，并证明其可以使深度网络更好地进行训练。
deep learningvanishing gradientsexploding gradientsskip-connectionsshattered gradients
发现论文，激发创造
  • 梯度爆炸问题探究 —— 定义、普遍性、影响、来源、权衡和解决方案

    该研究指出在大多数 MLP 体系结构中，梯度消失问题仍然存在，而 ResNets 拥有较低的梯度并且可以绕过梯度消失现象，使得更深层的神经网络可以有效地训练，这是因为引入跳过连接会简化网络数学模型，可能是其成功的主要原因。

    Dec, 2017

  • 跳跃连接很重要：关于使用 ResNets 生成对抗性样本的可转移性

    本文发现跳跃连接的使用允许更轻易生成高度可转移的对抗样本，并提出 Skip Gradient Method。作者使用该方法在 ResNets，DenseNets 和 Inceptions 等 DNN 上进行了全面的攻击。作者认为这一发现不仅推动了有关 DNN 的建筑漏洞的新研究，而且为设计安全的 DNN 架构提出了进一步的挑战。

    Feb, 2020

  • 循环神经网络训练的困难性

    从分析、几何和动力系统的角度探讨了递归神经网络的梯度消失和梯度爆炸问题，提出了一种简单而有效的梯度剪裁策略和软约束以解决这些问题。

    Nov, 2012

  • 哪些神经网络架构会导致梯度爆炸和梯度消失？

    我们对一个使用 ReLU 激活的随机初始化全连接网络 N 的梯度统计行为进行了严格分析，发现其输出输入 Jacobian 的平方条目的经验方差呈现简单依赖架构的常数 beta 的指数形式，该常数由隐藏层宽度的倒数之和组成，当 beta 很大时，N 在初始化时计算的梯度变化异常剧烈。我们的方法补充了随机网络的平均场理论分析，从这个视角出发，我们对处于混沌边缘的梯度统计的有限宽度修正进行了严格计算。

    Jan, 2018

  • 如何开始训练：初始化和架构的影响

    本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

    Mar, 2018

  • 再次让深度网络变得浅显

    通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

    Sep, 2023

  • 随机正交加性滤波器：深度神经网络梯度消失 / 爆炸问题的解决方案

    本文提出了一种新的神经网络结构，旨在避免消失／爆炸梯度问题，既解决了该问题，又取得了比许多其他结构更好的性能表现，它的核心思想是通过滤波和正交加和来实现非线性激活层之间的结合，从而防止梯度消失或爆炸，并成功应用于超过 50k 层和 10k 个时间步长的神经网络任务。

    Oct, 2022

  • 循环神经网络：梯度消失和梯度爆炸并非问题的终点

    递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的 RNN 取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的观点为解释 RNN 梯度学习中的一些困难以及为什么有些架构表现更好提供了新的解释。

    May, 2024

  • 均场剩余网络：朝向混沌的边缘

    本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。

    Dec, 2017

  • 稳定的 ResNet

    介绍了一种新的 ResNet 架构，称为 Stable ResNet，解决了在深度增加时梯度消失和梯度爆炸的问题，并确保在无限深度时保持表达能力。

    Oct, 2020