Jun, 2024

图知识蒸馏到专家混合

PDF
TL;DR通过使用一种特殊设计的学生模型（Routing-by-Memory）来解决节点分类任务中的性能问题，该模型是一种专家混合（Mixture-of-Experts），通过鼓励每个专家在隐藏表示空间的某个特定区域进行专门化，实验证明可以在多个数据集上实现更一致的性能。
graph neural networksknowledge distillationmulti-layer perceptronmixture-of-expertsrouting-by-memory
发现论文，激发创造
  • 基于可靠蒸馏的 GNN 知识量化应用于 MLP

    论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

    Jun, 2023

  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • AdaGMLP: AdaBoosting GNN-to-MLP 知识蒸馏

    AdaGMLP 是一种 AdaBoosting 框架，通过使用多个不同的 MLP 学生对标记节点的不同子集进行训练，解决了训练数据不足的问题，并结合节点对齐技术，提供了对具有缺失或不完整特征的测试数据的鲁棒预测，从而在许多延迟敏感的实际应用中表现优于现有的 G2M 方法。

    May, 2024

  • 无边界但结构感知：从 GNN 到 MLP 的原型导向知识蒸馏

    本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

    Mar, 2023

  • 图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

    本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

    Mar, 2021

  • 图混合专家：使用显式多样性建模在大规模图上学习

    该论文引入了 Mixture-of-Expert（MoE）思想到图神经网络中，提出了一种新的 Graph Mixture of Expert（GMoE）模型，用于同时建模多样的训练图结构，通过在 OGB 基准测试中表现的提升来验证 GMoE 的有效性。

    Apr, 2023

  • 一种双重自蒸馏的无教师图知识蒸馏框架

    无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

    Mar, 2024

  • 图上的强弱专家混合

    通过混合弱和强专家的方式，使用基于多层感知器（MLP）的轻量级专家来处理节点的自我特征和领域的信息结构，其中根据弱专家预测的置信度来条件激活强专家，以实现节点分类的准确性提升。

    Nov, 2023

  • 图神经网络中的节点滤波：一种专家混合方法

    图神经网络 (GNNs) 在各种图结构模式下的节点分类任务中已被证明非常有效。然而，现实世界的图通常展现出复杂的同构和异构模式的混合，使用统一的全局过滤器方法则不够优化。为解决这个问题，我们引入了一种新颖的 GNN 框架 Node-MoE，使用专家混合来自适应地选择不同节点的适当过滤器。广泛的实验证明了 Node-MoE 在同构和异构图上的有效性。

    Jun, 2024

  • 知识蒸馏加速分子图神经网络

    本文探讨了使用知识蒸馏加速分子图神经网络的实用性，研究结果显示可以无需改变体系结构就能提高预测准确性达到近 60%。

    Jun, 2023