Apr, 2023
理想共同分类器假设下的知识蒸馏
Knowledge Distillation Under Ideal Joint Classifier Assumption
Huayu Li, Xiwen Chen, Gregory Ditzler, Ping Chang, Janet Roveda...
TL;DRIJCKD 提供了一个理论框架,通过一个基于领域自适应理论的数学分析来更好地理解现有的知识蒸馏方法,明确了教师网络与学生网络之间的知识转移机制,并且可以有效地将知识传递给各种应用领域。