BriefGPT.xyz
大模型
Ask
alpha
关键词
self distillation
搜索结果 - 1
自我蒸馏:通过蒸馏提高卷积神经网络性能
提出了一种名为 “自蒸馏” 的卷积神经网络训练框架,通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能(准确性)。它与传统的知识蒸馏不同,后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该
→
PDF
5 years ago
Prev
Next