Feb, 2024
Ginger:一种适用于一般神经网络的线性复杂度高效曲率近似方法
Ginger: An Efficient Curvature Approximation with Linear Complexity for General Neural Networks
Yongchang Hao, Yanshuai Cao, Lili Mou
TL;DR通过 Ginger 方法,我们提供了对应于广义 Gauss-Newton 矩阵的逆矩阵的有效线性内存和时间复杂度的特征分解,从而使近似更加准确。