BriefGPT.xyz
Aug, 2023
分类神经网络中的中间隐藏层神经失调
Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks
HTML
PDF
Liam Parker, Emre Onal, Anton Stengel, Jake Intrater
TL;DR
分类神经网络的中间隐藏层中出现一定程度的神经崩溃,而崩溃的程度通常与该层的深度正相关。此外,浅层网络主要减少样本内类别方差,类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。
Abstract
neural collapse
(NC) gives a precise description of the
representations
of classes in the final hidden layer of
classification neural networks
→