BriefGPT.xyz
Ask
alpha
关键词
inter-sample dissimilarities
搜索结果 - 1
CKD:基于样本级别的对比知识蒸馏
我们提出了一种简单而有效的对比知识蒸馏方法,通过样本间和样本内约束问题的分析,实现了‘黑暗知识’的恢复。我们的方法通过对齐学生和教师的逐样本逻辑回归,最小化了相同样本中的逻辑回归差异,同时通过利用不同样本之间的差异性来弥合语义差异。通过对这
→
PDF
2 months ago
Prev
Next