使用知识蒸馏技术将图神经网络(GNNs)和多层感知器(MLPs)相结合,提出了无图依赖的神经网络 GLNNs,并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近,适用于延迟受限的应用程序。
Oct, 2021
无需师生模型或图神经网络,纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏,从而在推理中无数据依赖,显著提高了多层感知器的性能,并在六个真实数据集上超过最先进的图知识蒸馏算法。此外,TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍,比传统推理加速方法快 16 倍至 25 倍。
Mar, 2024
本文针对基于图任务的高准确性图神经网络(Graph Neural Networks, GNNs)转化为低延时多层感知器(Multilayer Perceptrons, MLPs)的热门研究主题,提出了一种无需图边,且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法(Prototype-Guided Knowledge Distillation, PGKD),通过在无边情况下的原型,从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。
Mar, 2023
本文提出了一种被称为无图知识蒸馏(GFKD)的方法,通过建模多元伯努利分布来学习知识传输的图拓扑结构,并使用梯度估计器来优化该框架,该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验,GFKD 实现了从 GNN 中蒸馏知识的最先进性能,无需训练数据。
May, 2021
本文探讨了使用知识蒸馏加速分子图神经网络的实用性,研究结果显示可以无需改变体系结构就能提高预测准确性达到近 60%。
Jun, 2023
通过使用一种特殊设计的学生模型(Routing-by-Memory)来解决节点分类任务中的性能问题,该模型是一种专家混合(Mixture-of-Experts),通过鼓励每个专家在隐藏表示空间的某个特定区域进行专门化,实验证明可以在多个数据集上实现更一致的性能。
Jun, 2024
AdaGMLP 是一种 AdaBoosting 框架,通过使用多个不同的 MLP 学生对标记节点的不同子集进行训练,解决了训练数据不足的问题,并结合节点对齐技术,提供了对具有缺失或不完整特征的测试数据的鲁棒预测,从而在许多延迟敏感的实际应用中表现优于现有的 G2M 方法。
May, 2024
本文提出一种基于知识蒸馏的框架,利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明,该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度,并且具有更可解释性的预测过程。
Mar, 2021
本文介绍了一种名为 Full-Frequency GNN-to-MLP 的知识蒸馏方法,它能够从 GNN 中抽取低频和高频知识,并将其注入 MLP 中,从而解决了现有方法中可能存在的高频知识被低频知识淹没的问题。实验表明,该方法在六个图形数据集和三种常见的 GNN 架构中平均优于原始 MLPs 12.6%,并且优于对应的 GNN 2.6%。
May, 2023
本文提出了基于邻近差异率(NDR)的自适应差异保留(ADR)正则化器以加强知识的传递,进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法,它在减少训练成本的同时实现了领先的蒸馏效果,并为多种流行的骨干网路提供了一致有效的性能增强。
Nov, 2020