本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

Mar, 2023

利用多层感知器 (MLPs) 解决图上半监督节点分类问题，在知识蒸馏中通过训练学生 MLP 来自教师图神经网络 (GNN) 的知识。受到将特征变换和传播分离的 GNN 的启发，我们重新构思了蒸馏过程，使学生 MLP 同时学习特征变换和传播。我们提出了 Propagate & Distill (P&D) 方法，在蒸馏之前传播教师的输出，这可以被解释为一种逆传播的近似过程。我们证明了 P&D 方法可以很容易地提高学生 MLP 的性能。

Nov, 2023

AdaGMLP 是一种 AdaBoosting 框架，通过使用多个不同的 MLP 学生对标记节点的不同子集进行训练，解决了训练数据不足的问题，并结合节点对齐技术，提供了对具有缺失或不完整特征的测试数据的鲁棒预测，从而在许多延迟敏感的实际应用中表现优于现有的 G2M 方法。

May, 2024

使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

Oct, 2021

我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。

Mar, 2024

通过知识蒸馏从图神经网络导师中训练学生多层感知机，将 KD 过程重新构建为使学生模型在知识蒸馏中显式学习结构信息，并提出了一个有效的方法 Propagate & Distill (P&D)，通过真实世界基准数据集的综合评估表明了 P&D 的有效性和对学生模型性能的进一步提升。

Nov, 2023

本文提出了一个基于多层感知机的图神经网络模型 (Graph-MLP)，通过利用图结构的监督信号，该模型仅使用多层感知机、激活函数和层归一化，而无需用到信息传递模块，在 loss level 中，设计了一个邻域对比损失 (NContrast)，能够在大规模图数据和损坏的邻接信息中更轻巧、更强韧地进行分类任务，并证明了即使在测试阶段没有邻接信息，该模型仍然可以达到与最先进模型相媲美甚至更好的性能。

Jun, 2021

本文介绍了一种名为 Full-Frequency GNN-to-MLP 的知识蒸馏方法，它能够从 GNN 中抽取低频和高频知识，并将其注入 MLP 中，从而解决了现有方法中可能存在的高频知识被低频知识淹没的问题。实验表明，该方法在六个图形数据集和三种常见的 GNN 架构中平均优于原始 MLPs 12.6％，并且优于对应的 GNN 2.6％。

May, 2023

无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

Mar, 2024

通过无监督学习简化后的多层感知器（MLPs）在图表上进行学习，以增强泛化效果，特别是在未见节点的设置中，实现了显著的性能提升（7-26%）和图表推断加速（90-126 倍），在大规模图表数据集上优于现有基准方案。

Feb, 2024