本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

Nov, 2020

通过对自我监督学习中的对比学习方法进行改进，引入了一种使用负样本的软相似度而不是二进制关系的无监督学习算法，可更好地处理不平衡的无标签数据并获得与最先进模型类似的结果。

Dec, 2020

我们提出了一种名为动态子图蒸馏（DSGD）的新方法，它利用语义和结构信息，实现对无标签数据的稳定知识蒸馏，对分布偏差具有鲁棒性，并在半监督连续学习场景中减轻了灾难性遗忘问题。

Dec, 2023

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

使用间接梯度蒸馏模块（IGDM）通过匹配学生的输入梯度和教师的输入梯度来改善对抗性模型的性能，实验证明 IGDM 与现有的蒸馏方法无缝集成，显著提高了所有蒸馏方法的性能。

Dec, 2023

提出了一种新的基于 Group Discrimination 的方法 Graph Group Discrimination (GGD)，以简单的二元交叉熵损失代替相似性计算直接区分两组节点样本，相比于 GCL 方法，GGD 具有更高的计算效率和更少的训练轮数，并在八个数据集上表现优于现有的自监督方法。

Jun, 2022

我们提出了一种用于高效生物医学实例分割的图关系蒸馏方法，考虑了实例级特征、实例关系和像素边界这三种关键知识类型。我们引入了两种图蒸馏方案：实例图蒸馏（IGD）和亲和图蒸馏（AGD），通过保持实例图和像素亲和力的一致性来传递实例特征、实例关系和边界相关的知识。实验证明了我们方法的有效性，使得学生模型的参数少于 1% 且推理时间少于 10%，同时相较于教师模型具有有希望的性能。

Jan, 2024

本文提出了一种基于图的蒸馏框架，将来自多个自监督任务的知识进行传递和压缩，以提高视频表示的学习效果和模型推理速度。

Apr, 2018

提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的表达能力，且该策略不仅模型无关，而且可以与其他 KGE 模型无缝结合。在四个标准数据集上进行了实验验证，证明了该自我蒸馏策略的有效性和稳定性。

Jun, 2022

通过对比实验，本文提出了一种新的基于图像对比度表示蒸馏的知识蒸馏方法，用于提高资源有效的图神经网络的表现，该方法通过保留全局拓扑结构与对比学习使轻量级图神经网络的性能和稳健性得到了提高。

Nov, 2021