Jan, 2024
通过简单的重标准化策略稳定锐度感知最小化
Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy
Chengli Tan, Jiangshe Zhang, Junmin Liu, Yicheng Wang, Yunda Hao
TL;DR通过提出稳定的 SAM 策略,我们解决了使用 SAM 训练神经网络的不稳定性问题,并通过理论分析发现稳定 SAM 在扩展学习率范围内能够比 SAM 表现更好,并在多个数据集和任务上验证了其改进的性能。