adaptive optimizers | BriefGPT

关键词adaptive optimizers

搜索结果 - 10

MADA: 元适应优化器通过超梯度下降
本研究提出了 Meta-Adaptive Optimizers（MADA），一个统一的优化器框架，它能够泛化多种已知的优化器，并在训练过程中动态学习最合适的优化器。数值结果表明，MADA 对亚优化的超参数具有鲁棒性，并且即使在调优超参数的情
PDF6 months ago
AGD：一种使用逐步梯度差分的自动可切换优化器用于预调整矩阵
我们提出了一种新的自适应优化器 AGD，它利用梯度差异作为对角元素来设计预条件矩阵，并引入了自动切换功能，能够在不同场景下自动切换 SGD 和自适应优化器，实现更好的泛化性能。
PDF7 months ago
实现可扩展的元学习
该研究通过引入 SAMA 来实现可扩展的元学习，它通过避免显式计算二阶梯度信息和利用一阶梯度的有效分布式训练技术，灵活地支持基本元学习程序中广泛的自适应优化器，并在多个大规模元学习基准测试中展示出吞吐量提高和内存消耗减少的优势，同时还通过数
PDF9 months ago
FL4ASR 中优化器引起的平滑性的重要性：解密端到端 ASR 的联邦学习
本文使用联邦学习训练端到端自动语音识别模型，并研究了减小联邦学习与集中学习之间的词错误率差距的基本考虑因素，包括自适应优化器、改变连接主义时间分类权重的损失特性、模型初始化、模型的设置以及针对异构数据分布的联邦学习特定超参数。我们阐明了一些
PDF9 months ago
ICLR张量程序 IVb：无限宽度极限下的自适应优化
超越随机梯度下降（SGD），在 Adam 等自适应优化器训练的宽神经网络中出现了哪些新现象？我们展示了：与 SGD 中相同的特征学习和核行为二分法同样适用于各种优化器，包括 Adam—— 尽管使用了非线性的 “核” 概念。我们推导出了相应的
PDFa year ago
KDD应用稀疏分组 Lasso 的自适应优化器在 CTR 预测神经网络中的应用
本文提出了一种将稀疏组套索的正则化器添加到深度学习中的一类自适应优化器中，经过实验验证在同等稀疏度下模型性能得到了显著提升。该方法在广告点击数据集上应用效果显著。
PDF3 years ago
ICMLTDprop: Jacobi 预处理有助于时序差分学习吗？
本文研究 Jacobi 预处理在考虑时变差分学习 (TD) 的自适应优化中是否有助于提高性能。通过研究 TDprop 方法并进行理论分析和深度强化学习实验，我们发现适当的 Jacobi 预处理可以改善 Deep RL 中的优化方法，但不一定
PDF4 years ago
ICLR自适应联邦优化
本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。
PDF4 years ago
利用统计学自动化随机优化
提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。
PDF5 years ago
ICML神经网络中的泰勒逼近：修正线性单元网络中的收敛与探索
本文提供了第一个适用于现代卷积神经网络的收敛保证，并探究了通过探索激活配置空间更彻底而实现更好解的自适应优化器方法。
PDF8 years ago