BriefGPT.xyz
大模型
Ask
alpha
关键词
small student network
搜索结果 - 2
基于多头注意力网络的图卷积知识蒸馏
本文提出了一种新颖的知识蒸馏方法,通过多头注意力网络从大型教师网络中提取基于数据集的知识,并进行多任务学习,大大提高了小型学生网络的性能。
PDF
5 years ago
CVPR
从教师那里学习度量:用于图像嵌入的紧凑网络
本文提出使用网络蒸馏来高效计算小型网络产生的图像嵌入,通过构建两个新的损失函数模拟深度教师网络向小型学生网络通信的机制,在多个数据集上验证我们的方法,得出小型学生网络计算的嵌入明显优于使用相似大小的标准网络计算的结果。其中在可移动设备上使用
→
PDF
5 years ago
Prev
Next