本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

Mar, 2023

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

Mar, 2021

提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

Aug, 2022

本文介绍了一种名为 MI-GNN 的基于元学习范式的元 + 归纳框架，以定制归纳模型以适应每个图表的方法。 MI-GNN 在图和任务级别上都采用双适应机制，对来自同一领域内不同的图表进行自适应，提高了半监督节点分类的性能。

May, 2021

我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。

Mar, 2024

使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

Oct, 2021

该研究论文提出了一种因果解缠多粒度图表示学习方法（CDM-GNN），用于解决图数据建模中多粒度特征的融合问题，该方法在图分类任务中表现出强大的性能，并生成与人类认知模式相一致的解释结果。

Oct, 2023

采用结构感知的多层感知机（SA-MLP）来代替节点再递归获取和聚合并加入结构信息以提高大规模图上的推理加速，并且引入了结构混合知识蒸馏策略以增强 MLPs 学习结构信息的能力并在传递性和归纳性场景下对 8 个基准数据集进行广泛实验，从而比教师 GNN 更加出色地实现了快速推理。

Oct, 2022

本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

Jul, 2023