AAAIAug, 2017

火箭发射:一个通用高效的框架,用于训练表现良好的轻量级网络

TL;DR本文提出了一种名为 “火箭发射” 的方法,利用笨重网络来指导轻量级网络的学习,并分析了不同的损失函数,采用了最佳性能的损失函数来推动轻量级网络表现得像笨重网络。实验结果表明,这种方法能够让轻量级模型获得之前只能由更复杂的模型才能实现的性能。