Knowledge Distillation (KD), known for its ability to transfer knowledge from a cumbersome network (teacher) to a lightweight one (student) without altering the architecture, has been garnering increasing attention. Two primary categories emerge within KD methods: feature-based, focusi
本文提出了一种新颖的知识蒸馏策略--继承与探索知识蒸馏框架(IE-KD)，它将学生模型分成两个部分，继承和探索。继承部分通过相似度损失将已有的知识从教师模型转移到学生模型，而探索部分通过不相似度损失鼓励学生模型学习与继承部分不同的特征表示，实验结果表明，IE-KD 能够提高学生网络的表现，达到 SOTA 水平。