Feb, 2021
彩票票保留权重相关性:是可取还是不可取?
Lottery Ticket Preserves Weight Correlation: Is It Desirable or Not?
Ning Liu, Geng Yuan, Zhengping Che, Xuan Shen, Xiaolong Ma...
TL;DR通过研究神经网络模型剪枝,提出了 “Lottery Ticket Hypothesis”,发现神经网络的初始化和学习率等条件会影响最优子网络的提取,同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练,实验证明该方法在多种深度神经网络结构上表现出色。