gradient clipping | BriefGPT

关键词gradient clipping

搜索结果 - 30

ICML关于近端策略优化中的重尾梯度
本文研究了 PPO 类算法的梯度的重尾性质，并提出了一个高维鲁棒估计器 GMOM 来替代几个剪切技巧，解决梯度重尾的问题，实验表明在 MuJoCo 测试任务上表现出与 PPO 相当的性能。
PDF3 years ago
ICML随机梯度剪裁的稳定性和收敛性：超越 Lipschitz 连续性和平滑性
本文提出了一种修剪随机梯度（子）梯度法（SGD）的收敛性研究，特别是对于具有快速增长次梯度的非光滑凸函数。研究表明，修剪对 SGD 的稳定性有益，并且修剪 SGD 算法在许多情况下具有有限的收敛速率。同时，我们还研究了带有动量的修剪方法的收
PDF3 years ago
无归一化高性能大规模图像识别
本研究提出一种适应性梯度裁剪技术，用于训练基于 ResNet 框架的新型无归一化层神经网络（Normalizer-Free ResNets）。实验表明，这种无归一化层的神经网络在 ImageNet 图像分类准确率上可达到 state-of-
PDF3 years ago
非凸优化裁剪算法的改进分析
本文通过引入一个新的假设 $(L_0, L_1)$-smoothness，系统研究了剪枝算法的一般框架及其在深度学习任务中的应用，提出了一种将动量方法结合剪枝算法的通用框架，并在确定性和随机性设置下对其进行了收敛性分析，结果表明剪枝算法的效
PDF4 years ago
私有 SGD 中的梯度裁剪：几何角度的理解
本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。
PDF4 years ago
面向卷积神经网络的统一 INT8 训练
本文提出了一个统一的 INT8 训练框架，基于四个梯度特征和两个稳定性原则，以及两种普适性技术，包括方向敏感梯度裁剪和偏移抵消学习率缩放，可以支持各种网络和任务，并在不使用太多优化方法的情况下将训练时间降低了 22％。
PDF5 years ago
自适应方法对注意力模型有什么好处？
本研究表明，一种重尾梯度噪声是 SGD 性能不佳的原因之一，而剪辑梯度可应用于 BERT 预训练和微调任务中，以提高性能。
PDF5 years ago
梯度裁剪为何加速训练：自适应理论解释
通过实例推导得到一个新的平滑度条件 - 梯度平滑度随着梯度范数增大而增大，进一步推出了一种新的梯度平滑弱化条件，这使得旧行业标准的梯度下降优化算法可以进行改进。我们证明，这种新条件下的梯度削减和标准化梯度方法的收敛速度可任意加快，并在流行的
PDF5 years ago
NIPS基于黎曼几何的批归一化方法
通过对 Batch Normalization 层中的权重向量空间进行 Riemannian 测量，从而提出了一种新学习规则，并利用几何特性进行了优化，成功地提高了在各种网络结构和数据集上的性能。
PDF7 years ago
循环神经网络优化的进展
本文探讨了相关的优化问题，尝试使用梯度削减，跨越更长的时间范围，强化动量技术，使用更强大的输出概率模型，以及鼓励更稀疏的梯度来帮助对称性打破和学分分配等几个方面，以提高长序列的训练的可行性和效率。实验结果在文本和音乐数据的训练和测试误差中表
PDF12 years ago