Jul, 2023
使用恒等层学习稀疏神经网络
Learning Sparse Neural Networks with Identity Layers
Mingjian Ni, Guangyao Chen, Xiawu Zheng, Peixi Peng, Li Yuan...
TL;DR本文通过探究网络层的特征相似性与网络稀疏性之间的内在联系,提出了一种基于居中核对齐的稀疏正则化方法(CKA-SR),该方法利用 CKA 降低网络层之间的特征相似度,增加网络稀疏性,并在多种稀疏训练方法上取得了稳定的效果提升,在极高稀疏度下表现尤为明显。