该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

Apr, 2019

我们提出了一种基于已知类数据的无监督新类发现问题的解决方案，其中关键挑战在于将已知类数据中的知识传递到新类的学习中。我们引入了一种基于模型预测的类分布的类关系表示来对新类进行建模，并提出了一个新颖的知识蒸馏框架用于规范新类的学习，通过语义相似性自适应地促进知识传输。通过在多个基准数据集上的广泛实验证实了我们方法的有效性和泛化性，结果表明我们的方法几乎在所有基准数据集上显著优于先前的最先进方法。

Jul, 2023

本研究提出一种基于对比关系的知识蒸馏方法 CRCD，通过建立标定点并计算学生和教师关系的差异，有效地将结构性知识从教师模型转移到学生模型中，从而同时蒸馏出样本表示和样本之间的关系。实验证明了该方法的有效性。

Mar, 2021

本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

Apr, 2019

本文提出了一种名为 RDCD 的方法，使用一个轻量级网络和紧凑的描述符，在在线共享平台中用于图像复制检测和版权保护。通过利用关系自监督蒸馏将知识从大型网络转移至小型网络，我们使得训练轻量级网络成为可能，并引入了关系自监督蒸馏和具有硬负损失的对比学习，以防止维度坍缩。在 DISC2021、Copydays 和 NDEC 基准数据集上，我们的方法展现了竞争性的性能，其轻量级网络和紧凑描述符相比基线方法，对于 64/128/256 描述符大小，micro average precision 分别提高了 5.0%/4.9%/5.9%。

May, 2024

关于关系性知识蒸馏的理论解释和在半监督分类问题中的应用，本文通过将关系性知识蒸馏转化为基于教师模型的谱聚类，并量化聚类误差来证明其有效性，并通过示例复杂度界限和群集感知的半监督学习框架进一步展示了其高标记效率。此外，通过将数据增强一致性正则化与群集感知框架统一，发现关系性知识蒸馏通过谱聚类提供了 “全局” 视角，而一致性正则化则聚焦于 “局部” 视角的扩展。

Jul, 2023

我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

Nov, 2023

本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

Jun, 2020

通过知识蒸馏将较大的教师模型的知识传递给小型学生模型，我们提出了一种面向语义分割的有针对性的边界和关系蒸馏策略，以解决小型模型在保持边界区域完整性和保持目标区域连通性方面的错误，并在多个数据集上验证了该方法的优越性。

Jan, 2024

提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

May, 2023