通过对比学习的方式训练学生网络来实现更好的知识迁移，相比知识蒸馏等传统方法在单模型压缩、集成蒸馏和跨模态迁移等多种任务中表现更优，甚至在与知识蒸馏相结合时可以超越教师网络，这一方法在许多知识迁移任务中达到了最新的最佳表现。

Oct, 2019

本文提出了一种融合Wasserstein距离和对比学习的知识蒸馏方法WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

Dec, 2020

使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。

Mar, 2022

本文提出了一种基于因果结构的新算法来学习不变表示，通过实验证明其在各种任务上表现优异，尤其是领域泛化方面取得了最先进的结果。

Jun, 2022

本文介绍了一种称为HARD的数据增强框架，它使用数据增强技术改进了知识蒸馏(KD)的过程，并使得 KD 对于准确性、收敛速度和泛化能力都有了显著提高。

May, 2023

提出了一种基于大范数特征和类均值对齐的知识蒸馏方法NDKD，该方法在ImageNet和CIFAR100数据集上取得了最好的分类精度。

May, 2023

通过使用居中核对齐方法比较异构教师和学生模型之间的特征学习情况，我们观察到显著的特征差异，进而揭示了以往基于暗示的方法在跨体系结构蒸馏中的无效性。为了解决在异构模型蒸馏中的挑战，我们提出了一种简单而有效的一对多蒸馏框架（OFA-KD），通过将中间特征投影到对齐的潜空间（如logits空间）中，丢弃体系结构特定信息，并引入自适应目标增强方案来防止学生受到无关信息的干扰。通过多种体系结构的广泛实验，包括CNN、Transformer和MLP，证明了我们OFA-KD框架在实现异构体系结构蒸馏方面的优势。具体而言，在使用我们的OFA-KD框架后，学生模型在CIFAR-100数据集上最多提高了8.0%，在ImageNet-1K数据集上提高了0.7%。

Oct, 2023

我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括CIFAR-100、FGVR、TinyImagenet和ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

Nov, 2023

知识蒸馏技术中，我们引入了不变一致性蒸馏法（ICD），该方法结合了对比学习和明确的不变性惩罚，以确保学生模型的表示与教师一致，并在CIFAR-100数据集上证明其优于传统知识蒸馏技术和13种最先进方法，在一些情况下，学生模型的准确性甚至超过教师模型。

Jul, 2024

知识蒸馏是从大型训练模型向更小、更高效的学生模型转移知识的有效方法，我们引入了关系表示蒸馏（RRD），该方法利用配对相似性来探索和强化教师模型和学生模型之间的关系，通过放宽的对比损失方法，改善了学生模型的鲁棒性和性能，且在 CIFAR-100 数据集上表现优于传统的知识蒸馏技术和其他 13 种先进方法，在其他数据集上也成功地进行了知识转移。

Jul, 2024