Jun, 2022
SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏
SoTeacher: A Student-oriented Teacher Network Training Framework for Knowledge Distillation
Chengyu Dong, Liyuan Liu, Jingbo Shang
TL;DR提出一种基于学生的教师网络训练框架 SoTeacher,通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法,实验证明该方法适用于几乎所有的教师 - 学生架构对,并且可以显著、一致地提高学生的性能。