adaptive gradient methods | BriefGPT

关键词adaptive gradient methods

搜索结果 - 20

自适应梯度方法在细化平滑度和噪声假设下的收敛分析
分析了 AdaGrad 在随机非凸优化中收敛速率，证明了存在优于 SGD 的收敛速度，并给出了收敛速率的上界和下界。
PDFa month ago
自适应联邦学习在空中的应用
通过无线信道特性的迭加性以及动态调整的全局梯度更新步长，我们提出了一种适用于无线环境下的模型训练框架中 AdaGrad 和 Adam 的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率，我们得出了使用 AdaGr
PDF4 months ago
RMSProp 及其动量扩展的 $O (\frac {\sqrt {d}}{T^{1/4}})$ 收敛速度：在维度上更好的依赖
该论文研究了在维度依赖性方面特别是对其收敛速度的研究不足，以及对经典的 RMSProp 及其动量扩展的收敛速度进行了分析，得出了不需要梯度有界性假设的收敛速度为 O (√d/T^(1/4))（由 l1 范数测度），其中 d 为优化变量的维度
PDF5 months ago
通过参数缩放解释自适应梯度方法对无学习率优化的解读
我们提出解决在训练深度神经网络中用于自适应梯度方法的学习率估计的挑战。我们将自适应梯度方法解释为应用于参数缩放网络的最陡下降方法，并提出了无学习率的自适应梯度方法。实验结果验证了该方法的有效性，并证明在各种情况下，其性能与手动调优的学习率相
PDF6 months ago
理解随机梯度下降和自适应梯度方法之间的鲁棒性差异
使用随机梯度下降和自适应梯度方法来训练深度神经网络，通过实验证明，尽管使用这些方法训练的模型的标准泛化性能之间的差异很小，但使用随机梯度下降来训练的模型在输入扰动下表现出更高的鲁棒性。同时研究了梯度下降和符号梯度下降在模拟自然信号的合成数据
PDFa year ago
ACLCAME：基于置信度的自适应内存高效优化
本研究提出了一种同时具有传统自适应方法快速收敛和内存高效方法的名为 CAME 的优化器，实验证明它在 NLP 任务中很稳定并具有更高的性能。
PDFa year ago
无需参数的自适应梯度方法在强凸函数中的应用
本文提出了一种采用 Metagrad 算法的通用算法，用于同时运行多个专家并将其预测组合为主算法，从而消除依赖于强度参数和学习率的自适应梯度方法的优化学习率，并实现了 O (d log T) 的遗憾界。
PDFa year ago
稳定性边缘的自适应梯度方法
本文揭示了关于 Adam 算法等自适应梯度方法在深度学习中的训练动态的知识匮乏。研究结果发现，在 Full-batch 和足够大的 Batch 设置中，Hessian 预处理的最大特征值通常会达到某个数值，即梯度下降算法的稳定阈值。此外，即
PDF2 years ago
ICML使用尺度不变架构强化神经网络训练
本文提出了通过修改网络结构，使其缩放不变，并使用 SGD 和权重衰减进行训练的通用方法，并证明了此方法不仅可以实现稳健的训练，还可以节省内存。作者还设计了一种名为 SIBERT 的缩放不变的 BERT 版本，其性能可与使用 Adam 等自适
PDF2 years ago
面向通信高效的自适应梯度方法
提出了一种适用于联邦学习的自适应梯度方法，该方法能够保证收敛和通信效率。
PDF3 years ago
非独立分散数据的有效联邦自适应梯度方法
本文提出了各种基于联邦学习的自适应梯度方法以及各种校准方法，比如标准 Adam，p-Adam 和激活函数校准方法等等，为非凸优化中非独立同分布和不平衡数据中的（校准的）联邦 AGMs 提供了第一组理论结果。通过与现有的联邦学习方法 FedA
PDF4 years ago
KDDMaxVA：通过最大化梯度观测方差快速调整步长
本文提出一种自适应学习率原则，通过将 Adam 中的平方梯度的运行平均替换为加权平均来实现。该方法比解决 Adam 中不稳定或过大的自适应学习率的 AMSGrad 和 AdaBound 等方法更有效，在机器翻译，自然语言理解和大批量预训练
PDF4 years ago
将自适应梯度方法从学习率中解开
本文研究了深度学习优化算法中的多个混淆因素，特别是探索了自适应梯度方法与学习率调度之间的相互作用，提出了一种 “嫁接” 实验，并给出了对自适应梯度方法泛化能力的实证和理论回顾。
PDF4 years ago
符号梯度下降的几何学
本文介绍了基于符号的优化方法在分布式优化中有良好的通信成本和在神经网络训练中具有出色的性能。同时探讨了分离平滑性与∞- 平滑性之间的联系，指出后者是更弱和更自然的假设。研究表明，在深度网络中，如果 Hession 矩阵在对角线方向上集中，并
PDF4 years ago
超参数神经网络的自适应梯度方法的全局收敛性
提出了一种自适应梯度下降方法，可用于优化过度参数化的两层神经网络，并能在多项式时间内收敛到全局最小值，无需微调超参数，如步长计划，且超参数的级别与训练误差无关。
PDF5 years ago
ICLRICLR 复现挑战：Padam：在培训深度神经网络中缩小自适应梯度方法的泛化差距
本次研究是 ICLR Reproducibility Challenge 2019 的一部分，旨在重现文章 PADAM: Closing The Generalization Gap of Adaptive Gradient Methods
PDF5 years ago
非凸优化的自适应梯度方法收敛性研究
本文提供了关于一类自适应梯度方法（包括 AMSGrad，RMSProp 和 AdaGRad）在光滑非凸函数优化方面的收敛性分析，证明了期望下自适应梯度方法能够收敛到一阶稳定点，同时还证明了 AMSGrad，RMSProp 和 AdaGrad
PDF6 years ago
IJCAI自适应梯度方法训练深度神经网络中泛化缺口的解决
本研究设计了一个新算法，称为部分自适应动量估计方法，通过引入部分自适应参数 $p$，将 Adam/Amsgrad 与 SGD 统一起来，以实现从两个世界中获得最佳结果，并在随机非凸优化设置下证明了我们提出的算法的收敛速度。实验结果表明，与
PDF6 years ago
ICML带有对数遗憾界的 RMSProp 和 Adagrad 变种
本文针对 Adaptive gradient methods 中的 RMSProp 方法进行研究，并提出 SC-Adagrad 和 SC-RMSProp 两个变体，使用对数回归算法在强凸函数上具有较小的遗憾值和在深度神经网络上具有更好的性能
PDF7 years ago
Eve: 一种基于梯度的优化方法，具有局部和全局自适应学习率
本文提出了一种名为 Eve 的算法，它是一种改进的 Adam 算法，可以对每个参数单独进行自适应梯度和全局梯度的学习率调整，实验证明 Eve 在深度学习模型的训练中表现优秀。
PDF8 years ago