Feb, 2019

多模型叠加

TL;DR本文提出一种在单一参数集中存储多个模型的方法,并展示了在神经网络的实验中,多个模型可以在叠加状态下并存,同时也可以分别被检索出来。我们发现大量的模型可以在单个参数实例中有效存储,并且在叠加状态下,每个模型可以经历数千次训练而不会对其他模型产生显著干扰。这种方法可以看作是压缩的在线补充:不是在训练之后减少网络的大小,而是在训练期间利用网络的未实现容量。