BriefGPT.xyz
Ask
alpha
关键词
ofa-kd framework
搜索结果 - 1
一对多:在知识蒸馏中弥合异构架构的差距
通过使用居中核对齐方法比较异构教师和学生模型之间的特征学习情况,我们观察到显著的特征差异,进而揭示了以往基于暗示的方法在跨体系结构蒸馏中的无效性。为了解决在异构模型蒸馏中的挑战,我们提出了一种简单而有效的一对多蒸馏框架(OFA-KD),通过
→
PDF
8 months ago
Prev
Next