AAAIMar, 2020
长短期样本蒸馏
Long Short-Term Sample Distillation
Liang Jiang, Zujie Wen, Zhongping Liang, Yafang Wang, Gerard de Melo...
TL;DR本文提出了一种新的训练策略 Long Short-Term Sample Distillation,通过同时利用过去训练过程中的多个阶段来引导神经网络的后续训练更新,同时只需要进行一次生成操作。该方法中,每个样本的监督信号被分解为两部分,即长期信号和短期信号,以提供稳定的指导并保证师生差异。经过一系列的实验验证,证明了这种新的训练方法的有效性。