深入研究具有特征，逻辑和梯度的知识蒸馏

Mar, 2022

深入研究具有特征，逻辑和梯度的知识蒸馏

A Closer Look at Knowledge Distillation with Features, Logits, and Gradients

Yen-Chang Hsu, James Smith, Yilin Shen, Zsolt Kira, Hongxia Jin

TL;DR本文提供一种新视角，通过近似经典 KL 散度标准的不同知识源激励一组知识蒸馏策略，从而使模型压缩和渐进学习在知识源方面进行系统比较。分析结果表明，logits 通常是更有效的知识来源，并建议在模型设计方面具备足够的特征维度，从而为基于知识蒸馏的转移学习提供实用指南。

Abstract

knowledge distillation (KD) is a substantial strategy for transferring learned knowledge from one neural network model to another. A vast number of methods have been developed for this strategy. While most method

knowledge distillation neural network transfer learning model compression logits

发现论文，激发创造

预训练语言模型的梯度知识蒸馏

本文提出了一种新的知识蒸馏方法（GKD），通过引入梯度对齐这一重要的知识源，以提高预训练语言模型的学生模型的性能和可解释性。实验结果表明，使用 GKD 比先前的知识蒸馏方法效果更好。

Nov, 2022

深度人脸识别的分组知识蒸馏

本文针对面部识别中 logits 蒸馏的性能较差问题，提出分组知识蒸馏算法组（GKD），通过分割 logits 并将蒸馏分为主要知识，次要知识和二进制知识，仅保留主要知识和二进制处理，忽略次要知识，从而提高轻量级学生模型的性能

Apr, 2023

知識蒸餾中的遺失

深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

Nov, 2023

基于响应、特征和关系的知识蒸馏分类

这篇论文提供了一份全面的知识蒸馏调查，包括知识类别、蒸馏方案和算法，以及一些性能比较的实证研究。

Jun, 2023

解耦式知识蒸馏

通过将传统的知识蒸馏 (KD) 损失重构为 TCKD 和 NCKD 两部分，本文证明了 logit distillation 方法的潜在价值，并提出了解耦知识蒸馏 (DKD) 方法以更高效地发挥 TCKD 和 NCKD 的作用，从而在图像分类和目标检测任务的 CIFAR-100、ImageNet 和 MS-COCO 数据集上取得了可比甚至更好的结果和更好的训练效率。

Mar, 2022

理解和改善知识蒸馏

本研究探讨了知识蒸馏的三个不同层次 —— 宇宙，领域以及实例，发现这三个因素在知识蒸馏中起着重要作用，并在大量实证研究基础上，诊断了某些知识蒸馏应用失败的情况。

Feb, 2020

知识蒸馏对模型可解释性的影响

研究表明知识蒸馏不仅可以提高模型性能，还可以增强模型的可解释性。通过量化比较模型可解释性中概念探测器数量的改变，研究表明老师模型传递到学生模型的类相似信息可以提高模型可解释性。这一结论得到了通过定量和定性实验以及不同数据集、不同 KD 方法和不同可解释性指标的检验。结果表明，通过 KD，大模型训练的模型可更可靠地用于各种领域。

May, 2023

预训练语言模型中的基于决策的知识蒸馏中决策和逻辑之间的桥梁

研究新的决策 KD 技术，从决策分布中估算出 logits，同时将理论和实验方法相结合，提高了自然语言理解和机器阅读理解性能。

Jun, 2023

利用神经网络中的反向传播知识改进知识蒸馏

该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

Jan, 2023

知识蒸馏对迁移学习的影响

在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

Oct, 2022