Jun, 2023
深度网络剪枝的几何视角:有多稀疏可以剪枝?
How Sparse Can We Prune A Deep Network: A Geometric Viewpoint
Qiaozhe Zhang, Ruijie Zhang, Jun Sun, Yingzhuang Liu
TL;DR本文研究了深度神经网络的过度参数化问题,提出了一种全局一次性网络剪枝算法,并通过计算高维几何中的正交宽度来确定剪枝比率的相变点,该值等于基于 $l_1$ 正则化损失函数的某个凸体的平方高斯宽度除以参数的原始维度。