EMNLPDec, 2022
Continuation KD: 基于连续优化的知识蒸馏改进
Continuation KD: Improved Knowledge Distillation through the Lens of Continuation Optimization
Aref Jafari, Ivan Kobyzev, Mehdi Rezagholizadeh, Pascal Poupart, Ali Ghodsi
TL;DR使用连续优化设计的新的知识蒸馏方法 Continuation-KD 能够更好地解决现有方法的问题,取得自然语言理解和计算机视觉任务中最优性能。