BriefGPT.xyz
Feb, 2023
奇异值表示：神经网络的新图形视角
Singular Value Representation: A New Graph Perspective On Neural Networks
HTML
PDF
Dan Meller, Nicolas Berkouk
TL;DR
通过奇异值分解神经网络权重，构建权重图，探索并非在输入数据下，批规范化引起神经元之间的显著连接和自发稀疏现象，从而提出了奇异值表示作为一种新的方法来表示神经网络的内部状态。
Abstract
We introduce the
singular value representation
(SVR), a new method to represent the internal state of
neural networks
using SVD factorization of the weights. This construction yields a new
→