本文提出了一种新颖的知识蒸馏方法，主要应用于非网格结构的数据，如图形结构数据。该方法采用了一种本地结构维护模块，从教师网络和学生网络中提取局部结构信息作为分布，最小化这些分布之间的距离，实现了拥有拓扑感知能力的知识传递，得到了一个更加轻量级但性能优异的学生网络。本文同时还将该方法应用于动态图模型，获得了在两个不同数据集上 GCN 模型的最新知识蒸馏性能。

Mar, 2020

本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

Nov, 2020

本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

Dec, 2021

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

Dec, 2020

论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

Jun, 2023

本文提出一种在线知识蒸馏框架 ——Alignahead++，它通过一种交替的训练过程，将学生模型的结构和特征信息转移给另一个同时训练的学生模型的前一层，同时在每个中间层添加辅助分类器以避免过度平滑问题。实验结果表明，在不需要预训练模型的监督情况下，通过增加学生数量，我们的协作训练框架可以稳定提高学生模型的性能。

Oct, 2022

本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

Nov, 2019

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

本论文针对在文本图上学习有效节点表示的问题，提出了一种使用语言模型编码图文本信息的图神经网络和知识蒸馏机制，能够在无图情况下实现快速推理，实验结果表明，该方法在节点分类任务上具有显著优势。

Apr, 2023