Dec, 2023
ZO-AdaMU 优化器:零阶优化中动量和不确定性的适应扰动
ZO-AdaMU Optimizer: Adapting Perturbation by the Momentum and Uncertainty in Zeroth-order Optimization
Shuoran Jiang, Qingcai Chen, Youchen Pan, Yang Xiang, Yukang Lin...
TL;DRMeZO 的模拟摄动随机逼近梯度估计导致严重震荡和时间开销,缺少动量正则化,而 ZO-AdaMU 通过在随机梯度近似中采用动量来解决这些问题,收敛性分析和实验表明这是改善 ZO-SGD 收敛稳定性和速率的更好方法。