BriefGPT.xyz
Ask
alpha
关键词
sign-based methods
搜索结果 - 2
重新思考 SIGN 训练:可证明的非凸加速,无需一阶和二阶梯度 Lipschitz
基于信号的方法是一种能够在参数更新时只使用符号信息而实现稳健性能的方法。本文重新审视了基于信号的方法,并在更现实的一阶和二阶平滑性的假设下分析了其收敛性。基于我们的理论结果,我们对最近开发的 LION 算法的计算优势有了深入的了解。在分布式
→
PDF
9 months ago
ICML
随机符号下降方法:新算法和更好的理论
本文介绍了一种基于符号的压缩方法,即 Stochastic Sign Descent with Momentum(SSDM), 用于在分布式环境下解决符号 SGD 方法的收敛问题,同时可以保持 1 位压缩和小批量大小。
PDF
5 years ago
Prev
Next