梯度爆炸问题探究 —— 定义、普遍性、影响、来源、权衡和解决方案

ICLRDec, 2017

梯度爆炸问题探究 —— 定义、普遍性、影响、来源、权衡和解决方案

The exploding gradient problem demystified - definition, prevalence, impact, origin, tradeoffs, and solutions

George Philipp, Dawn Song, Jaime G. Carbonell

TL;DR该研究指出在大多数 MLP 体系结构中，梯度消失问题仍然存在，而 ResNets 拥有较低的梯度并且可以绕过梯度消失现象，使得更深层的神经网络可以有效地训练，这是因为引入跳过连接会简化网络数学模型，可能是其成功的主要原因。

Abstract

Whereas it is believed that techniques such as Adam, batch normalization and, more recently, SeLU nonlinearities "solve" the exploding gradient problem, we show that this is not the case in general and that in a range of popular MLP architectures, exploding gradients exist and that the

exploding gradients mlp architectures resnets skip connections deep neural networks

发现论文，激发创造

破碎渐变问题：如果 ResNets 是答案，那问题是什么？

本文提出了 “破碎梯度” 问题，指出标准前馈网络中梯度之间的相关性随着深度呈指数衰减，导致梯度类似于白噪声；相比之下，具有跳跃连接的体系结构更加抗干扰，梯度呈次线性降低。此外，本文还提出了一种新的 “线性外观”(LL) 初始化方法，可以避免破碎现象，并证明其可以使深度网络更好地进行训练。

Feb, 2017

循环神经网络训练的困难性

从分析、几何和动力系统的角度探讨了递归神经网络的梯度消失和梯度爆炸问题，提出了一种简单而有效的梯度剪裁策略和软约束以解决这些问题。

Nov, 2012

趋向无深度限制的训练：无梯度爆炸的批归一化

在这项研究中，我们设计了一种带有线性激活函数和批归一化的多层感知机模型，通过 Weingarten 微积分方法从理论上证明了其正向信号传播特性的精确表征，并证明了在线性独立的输入样本情况下渐近地保持梯度有界的特性。同时，我们还提出了一种激活函数塑形方案，能够在某些非线性激活函数下实现类似的特性。

Oct, 2023

BN 与 ReLU 之间的不协调导致梯度爆炸，但被激活之间的相关性所抵消

讲述了基于批归一化和 ReLU 的深度神经网络存在于训练早期不稳定的情况，提出了更好的适应性学习率算法来替代现有的学习率缩放方法，该算法在大批量训练中表现优于现有方法。

Apr, 2023

随机正交加性滤波器：深度神经网络梯度消失 / 爆炸问题的解决方案

本文提出了一种新的神经网络结构，旨在避免消失／爆炸梯度问题，既解决了该问题，又取得了比许多其他结构更好的性能表现，它的核心思想是通过滤波和正交加和来实现非线性激活层之间的结合，从而防止梯度消失或爆炸，并成功应用于超过 50k 层和 10k 个时间步长的神经网络任务。

Oct, 2022

哪些神经网络架构会导致梯度爆炸和梯度消失？

我们对一个使用 ReLU 激活的随机初始化全连接网络 N 的梯度统计行为进行了严格分析，发现其输出输入 Jacobian 的平方条目的经验方差呈现简单依赖架构的常数 beta 的指数形式，该常数由隐藏层宽度的倒数之和组成，当 beta 很大时，N 在初始化时计算的梯度变化异常剧烈。我们的方法补充了随机网络的平均场理论分析，从这个视角出发，我们对处于混沌边缘的梯度统计的有限宽度修正进行了严格计算。

Jan, 2018

深度神经网络的稳定结构

本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

May, 2017

如何开始训练：初始化和架构的影响

本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

Mar, 2018

循环神经网络：梯度消失和梯度爆炸并非问题的终点

递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的 RNN 取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的观点为解释 RNN 梯度学习中的一些困难以及为什么有些架构表现更好提供了新的解释。

May, 2024

稳定的 ResNet

介绍了一种新的 ResNet 架构，称为 Stable ResNet，解决了在深度增加时梯度消失和梯度爆炸的问题，并确保在无限深度时保持表达能力。

Oct, 2020