Jun, 2019
神经网络剪枝中的泛化稳定性权衡
The Generalization-Stability Tradeoff In Neural Network Pruning
Brian R. Bartoldson, Ari S. Morcos, Adrian Barbu, Gordon Erlebacher
TL;DR通过分析剪枝过程中的行为，我们发现剪枝的波动性（即剪枝后的测试准确性下降）可以提高泛化性能，这种 “泛化稳定性交换” 的现象出现在各种剪枝设置中，可能是因为剪枝类似于注入噪声的效果而导致正则化，从而产生泛化改进，这可以解释剪枝提高泛化和过度参数化网络高泛化性能的相容性。