ICLRJan, 2024
使用损失面几何精确刻画 SGD 的稳定性
A Precise Characterization of SGD Stability Using Loss Surface Geometry
Gregory Dexter, Borja Ocejo, Sathiya Keerthi, Aman Gupta, Ayan Acharya...
TL;DR我们深入探讨了随机梯度下降(SGD)的线性稳定性与锐利度之间的关系,并介绍了一种损失海森矩阵的一致性度量,用于判断 SGD 在最优点处的线性不稳定性。