本文提供一种新视角，通过近似经典 KL 散度标准的不同知识源激励一组知识蒸馏策略，从而使模型压缩和渐进学习在知识源方面进行系统比较。分析结果表明，logits 通常是更有效的知识来源，并建议在模型设计方面具备足够的特征维度，从而为基于知识蒸馏的转移学习提供实用指南。

Mar, 2022

本研究探讨了基于对数几率水平的大型语言模型任务特定蒸馏，发现与视觉模型相比，微调后的大型语言模型的对数几率呈现更极端的长尾分布，长尾部分中的噪声对蒸馏性能产生影响。提出了双向对数几率差异损失（BiLD loss）作为解决方案，并通过构建对数几率之间的差异来利用内部对数几率的排序信息。实验结果表明，仅使用前 8 个对数几率的 BiLD 损失优于有监督微调（SFT），基本 KL 损失和其他 NLP 和 CV 领域的五种蒸馏方法。

Jun, 2024

知识蒸馏通过使用共享的基于温度的软最大函数，从教师向学生传递软标签。然而，教师和学生之间的温度共享假设意味着在 logit 的范围和方差方面需要强制精确匹配。为了解决这个问题，我们提出将温度设定为 logit 的加权标准差，并在应用 softmax 和 Kullback-Leibler 散度之前进行 Z 分数预处理标准化。我们的预处理使学生能够关注来自教师的基本 logit 关系而不需要幅值匹配，并且可以提高现有基于 logit 的蒸馏方法的性能。我们还展示了一个典型案例，即教师和学生之间传统的温度共享设置不能可靠地产生真实的蒸馏评估；尽管如此，我们的 Z 分数成功缓解了这个挑战。我们对 CIFAR-100 和 ImageNet 上的各种学生和教师模型进行了广泛评估，展示了其显著优越性。通过我们的预处理，纯知识蒸馏方法能够达到与最先进方法相当的性能，而其他蒸馏变体则可以在我们的预处理辅助下获得相当大的收益。

Mar, 2024

在大型语言模型领域，我们提出了 Direct Preference Knowledge Distillation (DPKD) 方法，通过利用分布差异来表示偏好损失和隐式奖励函数，将语言模型知识蒸馏分为两个阶段，并通过实验证明了其广泛适用性和有效性。同时，我们通过实验和理论分析证明了引入的隐式奖励和输出偏好在知识蒸馏中的价值和效果，DPKD 方法在输出响应精度和完全匹配百分比上优于基准方法。

Jun, 2024

本文提出了一种名为 MiniLLM 的方法，该方法利用 Kullback-Leibler 散度，会防止学生模型过度估计教师分布的低概率区域，实现了从生成式语言模型中提取出更小的语言模型，该方法在指令遵循情况下进行了广泛的实验，证明了 MiniLLM 模型的性能表现更佳。

Jun, 2023

提出一种新颖的多标签知识蒸馏方法，通过将多标签学习问题分解为一组二元分类问题，并利用标签间嵌入的结构信息来增强学习特征表示的独特性，避免标签间的知识对抗，从而在多个基准数据集上实现了优越的性能。

Aug, 2023

使用半参数推断方法将知识蒸馏转换为目标学生模型、未知贝叶斯类概率和教师概率的 plug-in 估计值，引入交叉适应和损失校正两种方式来改善教师过度拟合和欠拟合对学生性能的影响，为标准蒸馏的预测误差提供了新的保证，并在表格式和图像数据上进行实证验证，观察到与知识蒸馏增强相关的一致改进。

Apr, 2021

本文针对面部识别中 logits 蒸馏的性能较差问题，提出分组知识蒸馏算法组（GKD），通过分割 logits 并将蒸馏分为主要知识，次要知识和二进制知识，仅保留主要知识和二进制处理，忽略次要知识，从而提高轻量级学生模型的性能

Apr, 2023

该研究提出一种基于决策边界的黑盒知识蒸馏方法（DB3），包括由教师决策边界构造软标签，以及生成伪样本以代表未知数据，皆不需要接触教师参数，结果表明该方法在各种基准网络和数据集上都表现出有效性。

Jun, 2021

使用知识蒸馏技术将深度神经网络转换成决策树，以同时实现较好的性能和可解释性，并比基准决策树模型获得显著更高的精度，在 TensorFlow 平台上实现对大数据集的可扩展性。

Dec, 2018