ICLRJun, 2022
优秀教师,优秀学生:基于动态先验知识的知识蒸馏
Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation
Zengyu Qiu, Xinzhu Ma, Kunlin Yang, Chunya Liu, Jun Hou...
TL;DR研究表明,利用动态先验知识的知识蒸馏方法可以更好地从大型模型向小型模型传递知识表示,提高学生模型的性能,在图像分类和目标检测等领域表现卓越。