提出了一种轻量级的滚动轴承故障诊断模型 DKDL-Net，通过解耦知识蒸馏和低秩自适应微调，在 CWRU 数据集上进行训练，实验证明在保持模型性能的同时，DKDL-Net 在计算复杂度上实现了 99.48% 的准确率，比现有技术模型高出 0.58%，且参数更少。

Jun, 2024

该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

Apr, 2024

由于数据不平衡和缺陷的多样性，学生 - 教师网络（S-T）在无监督异常检测中备受青睐，它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏（DSKD）架构来解决原生 S-T 网络不稳定的问题，该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略，即金字塔匹配模式和深度特征嵌入模块，以捕捉异常线索的高维语义信息，该架构可以增强蒸馏效果、改善正常数据的一致性识别，并同时引入多样性来表示异常，最终通过像素级异常分割图和样本判定的异常得分，实现了对三个基准数据集的评估和对内部模块的消融实验，结果显示 DSKD 在小型模型（如 ResNet18）上实现了卓越的性能，并有效改进了原生 S-T 网络。

Feb, 2024

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

本文提出了基于生成对抗网络的渐进式知识蒸馏来解决资源限制下深度神经网络参数过多的问题，并在检测异常实例的一个类别新奇检测上实现了最先进的性能。通过在 CIFAR-10、MNIST 和 FMNIST 上进行实验，结果显示，我们的方法在压缩计算的同时提高了学生 GAN 的性能。

Jul, 2020

本文提出了一种基于知识蒸馏和权重对齐的类增量学习方法，能够有效减轻灾难性遗忘，提高模型性能，实验证明此方法在几种数据集上明显优于现有最先进方法。

Nov, 2019

本研究介绍了一种基于结构因果模型的退门调整式知识蒸馏方法，称为 Disentangle and Remerge（D&R），可用于针对 few-shot 目标检测任务的条件因果干预。 实验结果表明，D&R 可以显著提高 few-shot 目标检测的性能。

Aug, 2022

本文提出了一种人机知识混合增强方法，用于从头开始积累少量数据，并将其作为先验知识提供给模型进行少数据学习，进而在工业缺陷检测中取得了可行性和有效性的进展。

Apr, 2023

本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

May, 2022