exploding gradients | BriefGPT

关键词exploding gradients

搜索结果 - 7

稳定大型语言模型的预训练：再见尖峰
在大型语言模型的预训练过程中，我们探究了梯度爆炸的原因，并提出了满足预防梯度爆炸的条件的初始化方法和嵌入的简单修改方法，通过实验证明了这种组合在预训练过程中有效地防止了损失峰值的出现。
PDF6 months ago
趋向无深度限制的训练：无梯度爆炸的批归一化
在这项研究中，我们设计了一种带有线性激活函数和批归一化的多层感知机模型，通过 Weingarten 微积分方法从理论上证明了其正向信号传播特性的精确表征，并证明了在线性独立的输入样本情况下渐近地保持梯度有界的特性。同时，我们还提出了一种激活
PDF9 months ago
ICML使用重量约束随机动力学进行更好的训练
本研究介绍了一种通过引入定制化约束条件来减少神经网络权重梯度消失或爆发问题、提高分类边界的平滑性以及稳定深度神经网络，从而增强训练算法的稳健性和神经网络的泛化能力的方法。同时，还通过平衡重要性的 SG-MCMC 方法将这些约束条件有效地整合
PDF3 years ago
ICML批量归一化导致对抗性攻击性漏洞
研究表明，批量标准化在深度神经网络的训练中可以降低参数更新次数，但会导致对小型对抗性输入扰动和噪音的鲁棒性降低，同时使用权重衰减可以消除其对输入尺寸的影响。
PDF5 years ago
通过高效 SVD 参数化稳定深度神经网络梯度
本文提出了一种基于奇异值分解（SVD）的转移矩阵参数化方法，通过显式控制奇异值来解决在训练中发生的梯度消失和梯度爆炸问题，该方法在实验中表现出了更快的收敛速度和更好的泛化性能，特别是在捕捉长程依赖关系方面的表现较好。
PDF6 years ago
ICLR梯度爆炸问题探究 —— 定义、普遍性、影响、来源、权衡和解决方案
该研究指出在大多数 MLP 体系结构中，梯度消失问题仍然存在，而 ResNets 拥有较低的梯度并且可以绕过梯度消失现象，使得更深层的神经网络可以有效地训练，这是因为引入跳过连接会简化网络数学模型，可能是其成功的主要原因。
PDF7 years ago
ICML破碎渐变问题：如果 ResNets 是答案，那问题是什么？
本文提出了 “破碎梯度” 问题，指出标准前馈网络中梯度之间的相关性随着深度呈指数衰减，导致梯度类似于白噪声；相比之下，具有跳跃连接的体系结构更加抗干扰，梯度呈次线性降低。此外，本文还提出了一种新的 “线性外观”(LL) 初始化方法，可以避免
PDF7 years ago