IJCAIMay, 2019
学生超越导师:基于师生模型的词嵌入蒸馏与集成学习
The Pupil Has Become the Master: Teacher-Student Model-Based Word Embedding Distillation with Ensemble Learning
Bonggun Shin, Hao Yang, Jinho D. Choi
TL;DR本文提出了一种新的嵌入蒸馏框架,使词嵌入的维度显著降低但不影响准确性,并介绍了使用多个教师模型训练高效的学生模型的新型蒸馏集成方法。通过实验验证,在七个文本分类数据集上,该方法在大多数情况下均表现出比教师模型更好的性能,对词嵌入的变换进行了深入分析,并提出了使用神经模型进行融合的未来研究方向。