个别类别信息传递的余弦相似度知识蒸馏

Nov, 2023

个别类别信息传递的余弦相似度知识蒸馏

Cosine Similarity Knowledge Distillation for Individual Class Information Transfer

Gyeongdo Ham, Seonghak Kim, Suin Lee, Jae-Hyeok Lee, Daeshik Kim

TL;DR通过使用批量预测的余弦相似度度量以及基于余弦相似度的温度调节方法，我们提出了一种新颖有效的知识蒸馏方法，可以使学生模型达到与教师模型相似甚至更好的性能，该方法将为模型压缩的未来研究提供宝贵的见解。

Abstract

Previous logits-based knowledge distillation (KD) have utilized predictions about multiple categories within each sample (i.e., class predictions) and have employed Kullback-Leibler (KL) divergence to reduce the discrepancy between the student and teacher predictions. Despite the proli

logits-based knowledge distillation kullback-leibler divergence cosine similarity natural language processing cosine similarity weighted temperature

发现论文，激发创造

通过规范化特征范数和方向提高知识蒸馏

提出了一种基于大范数特征和类均值对齐的知识蒸馏方法 NDKD，该方法在 ImageNet 和 CIFAR100 数据集上取得了最好的分类精度。

May, 2023

优秀教师解释：解释增强的知识蒸馏

通过优化经典 KD 损失和教师与学生生成的解释的相似度，提出的解释增强型 KD（e^2KD）能够显著提高准确性和学生 - 教师一致性，并确保学生从教师那里得到正确的原因和相似的解释，同时能适应不同模型架构、训练数据量，甚至使用预计算的 “近似” 解释。

Feb, 2024

CKD：基于样本级别的对比知识蒸馏

我们提出了一种简单而有效的对比知识蒸馏方法，通过样本间和样本内约束问题的分析，实现了‘黑暗知识’的恢复。我们的方法通过对齐学生和教师的逐样本逻辑回归，最小化了相同样本中的逻辑回归差异，同时通过利用不同样本之间的差异性来弥合语义差异。通过对这些约束进行对比学习框架的优化，我们的方法不仅具备简单、高效的特点，还能有效地减少运行复杂度和超参数调整的需求。通过在 CIFAR-100、ImageNet-1K 和 MS COCO 三个数据集上的实验证明了我们提出的方法在图像分类和物体检测任务上的有效性。

Apr, 2024

比较性知识蒸馏

在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

Nov, 2023

知识蒸馏的相关性一致性

本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

Apr, 2019

相似性保持知识蒸馏

本文提出了新型的知识蒸馏损失函数，其通过保留教师神经网络中相似输入的激活模式特征，指导学生神经网络的训练，使其在保留各自的表征空间中，能够准确地保持输入的相似度。实验结果表明了该方法的潜力。

Jul, 2019

来自更强大教师的知识蒸馏

本文介绍了一种名为 DIST 的方法，它可以更好地从一个更强的教师模型中进行知识蒸馏，通过保留教师和学生之间的预测关系，提出了基于相关损失的方法，从而实现了最先进的性能。

May, 2022

重复使用教师分类器的知识蒸馏

使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。

Mar, 2022

AICSD: 自适应类间相似度蒸馏，用于语义分割

该论文提出了一种名为 Inter-Class Similarity Distillation（ICSD）的新方法，通过独立计算每个类的内类分布并计算 KL 散度得出类之间的相似性矩阵进行知识蒸馏，结合自适应损失权重（ALW）训练策略，在语义分割领域的两个著名数据集上验证了该方法的有效性。

Aug, 2023

基于协同稀疏化的 Top-N 推荐协同学习

本文提出了一种新的知识蒸馏模型 —— 协作蒸馏模型 (CD)，该模型采用概率排序感知采样、转换误差函数以处理反馈不足以及提供两个训练方法 (即教师指导和学生指导)，在推荐领域中取得了 2.7-33.2% 和 2.7-29.1% 的命中率 (HR) 和标准化折现累计增益 (NDCG) 方面的优异表现。

Nov, 2019