Nov, 2023
现代神经网络结构的克罗内克分解近似曲率
Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures
Runa Eschenhagen, Alexander Immer, Richard E. Turner, Frank Schneider, Philipp Hennig
TL;DR使用 K-FAC 方法优化神经网络架构中的线性权重共享层,在不同的设置下展开和缩小两种变体都能加快训练速度,缩减了计算成本并提升了训练效果。