ICMLDec, 2018
Adam 促进整流神经网络隐式权重稀疏化
Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks
Atsushi Yaguchi, Taiji Suzuki, Wataru Asano, Shuhei Nitta, Yukinobu Sakata...
TL;DR本文提出深度神经网络在训练过程中能自动诱导出权重的分组稀疏性,利用此现象我们可以在训练完成之后快速减少模型尺寸,同时不会对模型表现带来太大影响。