Jun, 2024
高效的基于符号的优化:通过方差减少加速收敛
Efficient Sign-Based Optimization: Accelerating Convergence via Variance Reduction
Wei Jiang, Sifan Yang, Wenhao Yang, Lijun Zhang
TL;DR本文介绍了 signSGD 方法及其收敛速率的改进,并引入了基于符号的随机方差缩减(SSVR)方法,通过引入方差缩减估计器来跟踪梯度并利用其符号进行更新;此外,还研究了分布式环境中的异构多数投票,引入了两种新算法以获得更好的收敛速率,通过数值实验验证了所提方法的有效性。