Apr, 2019
路线约束优化的知识蒸馏
Knowledge Distillation via Route Constrained Optimization
Xiao Jin, Baoyun Peng, Yichao Wu, Yu Liu, Jiaheng Liu...
TL;DR本文基于课程学习的角度考虑知识蒸馏,使用路由的方式选取锚点进行监督,提出了一种路由约束优化算法 (RCO),实验证明这种简单的操作极大地降低了知识蒸馏、提示和模仿学习的一致性损失下限,可在 CIFAR100 和 ImageNet 上将知识蒸馏的性能分别提高 2.14%和 1.5%,并在 MegaFace 的开放式人脸识别任务上进行了评估。