BriefGPT.xyz
Jul, 2020
深度学习中的知识蒸馏及其应用
Knowledge Distillation in Deep Learning and its Applications
HTML
PDF
Abdolmaged Alkhulaifi, Fahad Alsahli, Irfan Ahmad
TL;DR
通过使用知识蒸馏技术,从大模型(教师模型)中提取信息,训练小模型(学生模型)可以解决将大型深度学习模型部署在移动设备和嵌入式设备上的问题。本文提出了一种基于蒸馏度量的比较不同知识蒸馏算法性能的新指标，并通过对知识蒸馏技术应用于深度学习模型进行调查，得出了一些有趣的结论。
Abstract
deep learning
based models are relatively large, and it is hard to deploy such models on resource-limited devices such as mobile phones and embedded devices. One possible solution is
knowledge distillation
whereb
→