Oct, 2022

基于关系提炼的无链接链路预测

PDF
TL;DR本文研究以知识蒸馏技术加快图神经网络（GNN）的边预测任务，尝试了基于预测对数和节点表示的两种直接应用知识蒸馏技术方法，提出了一种名为 LLP 的基于关系知识的框架，能够显著提高 MLP 的边预测性能，并比 GNNs 更高效。
graph neural networkslink predictionknowledge distillationrelational knowledgelinkless link prediction
发现论文，激发创造
  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • 从对比链接中提取自我知识以对图节点进行分类，无需传递消息

    本研究发展出一种名为 LinkDist 的方法，它利用连接节点对的自身知识来提取无需聚合消息的多层感知机 (MLP)，并在半监督和全监督节点分类方面表现出与 GNNs 相对可比的准确性。此外，LinkDist 从其非消息传递范式中受益，我们可以用对比的方式从任意抽样的节点对中提取自知识，从而进一步提高 LinkDist 的性能。

    Jun, 2021

  • 大型语言模型与图神经网络相遇于知识蒸馏

    通过使用 LinguGKD 框架，将大型语言模型作为教师模型和图神经网络作为学生模型，通过设计的节点分类提示来调过教师 LLM 的 Hierarchically 学习到的节点特征和学生 GNN 在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生 GNN 的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。

    Feb, 2024

  • 基于可靠蒸馏的 GNN 知识量化应用于 MLP

    论文提出一种基于知识启发的可靠蒸馏（KRD）的方法，通过评估信息熵的不变性量化图神经网络中不同知识点的可靠性，并以此为基础进行无监督采样，从而提高学生 MLP 的性能。

    Jun, 2023

  • 无边界但结构感知：从 GNN 到 MLP 的原型导向知识蒸馏

    本文针对基于图任务的高准确性图神经网络（Graph Neural Networks, GNNs）转化为低延时多层感知器（Multilayer Perceptrons, MLPs）的热门研究主题，提出了一种无需图边，且能够学习适应结构的 MLPs 的原型指导知识蒸馏方法（Prototype-Guided Knowledge Distillation, PGKD），通过在无边情况下的原型，从 GNNs 到 MLPs 中提取图的结构信息。实验结果表明该方法的有效性和鲁棒性。

    Mar, 2023

  • 通过 MLPs 揭示图学习的潜在潜力：利用传播式 MLPs 的有效图学习器

    通过知识蒸馏从图神经网络导师中训练学生多层感知机，将 KD 过程重新构建为使学生模型在知识蒸馏中显式学习结构信息，并提出了一个有效的方法 Propagate & Distill (P&D)，通过真实世界基准数据集的综合评估表明了 P&D 的有效性和对学生模型性能的进一步提升。

    Nov, 2023

  • 无框图知识蒸馏

    本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

    Jul, 2023

  • 一种双重自蒸馏的无教师图知识蒸馏框架

    无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

    Mar, 2024

  • 生成式图神经网络用于链接预测

    本文提出了一种名为 GraphLP 的新的基于网络重构理论的、区别于传统的判别式神经网络模型的生成式神经网络模型，利用深度学习提取图表结构信息并探索高阶连接模式以实现链路预测，实验证明 GraphLP 在不同数据集上都具有优异性能。

    Dec, 2022

  • LinkGPT: 教授大型语言模型预测丢失链接

    本研究提出了 LinkGPT，首个用于链接预测任务的端到端训练的大型语言模型 (LLM)，通过有效整合结构信息和解决效率问题，在真实世界的图和零样本学习中取得了领先水平的性能。

    Jun, 2024