Oct, 2023

基于节点自适应传播的加速可扩展的图神经网络推理

PDF
TL;DR大规模图的实时推断对于图神经网络 (GNNs) 提出了一项重大挑战，但我们提出了一种在线传播框架和两种新的节点自适应传播方法来加速可扩展 GNNs 的推断过程，并通过简单的超参数灵活管理准确性和时延之间的平衡。此外，我们进一步提出了 Inception Distillation 来弥补推断准确性损失，实验结果显示我们的方法在精确性和效率上优于现有的图推断加速方法。
发现论文，激发创造
  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020

  • 重新思考大规模图学习中的节点传播

    基于可扩展图神经网络的自适应拓扑感知传播 (ATP) 提高了运行效率和预测性能，减少了潜在的高偏差传播，并以可插入式的节点传播优化策略无缝集成于大规模图神经网络，同时解决了冗余计算成本。

    Feb, 2024

  • 利用通道剪枝加速大规模实时 GNN 推理

    本文提出通过修剪每层维度中对输出结果的影响程度很小的特征维度，使用 LASSO 回归公式设计修剪框架来加速 GNN 推理。针对计算和存储情景，设计了修剪方案。此外，还有效地存储和重复利用已访问节点的隐藏特征，显著降低了计算目标嵌入所需支持节点的数量。本文在五个流行数据集上和一个实时垃圾邮件检测应用中评估了所提出的方法，证明剪枝 GNN 模型大大降低了计算和存储使用，同时几乎不影响准确度。

    May, 2021

  • 图神经网络的最优传播学习

    本文提出一种基于双层优化的方法，通过直接学习个性化 PageRank 传播矩阵以及下游半监督节点分类并同时进行学习，学习最佳的图结构，并探索低秩逼近模型以进一步降低时间复杂度。实证评估表明，所提出的模型在所有基线方法中具有更高的有效性和鲁棒性。

    May, 2022

  • 通过节点特征传播进行图神经网络的主动学习

    本研究提出并验证了一种基于图神经网络的主动学习方法，应用于节点分类任务，其中通过节点特征传播和 K-Medoids 聚类完成样本的选取，并在四个基准数据集上实验进行验证，结果表明该方法优于其他基准方法。

    Oct, 2019

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • 无图神经网络：通过蒸馏教老 MLPs 新技巧

    使用知识蒸馏技术将图神经网络（GNNs）和多层感知器（MLPs）相结合，提出了无图依赖的神经网络 GLNNs，并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近，适用于延迟受限的应用程序。

    Oct, 2021

  • 使用优化框架解释和统一图神经网络

    本文旨在建立不同传播机制之间的联合优化框架，总结了几种最具代表性的图神经网络，并提供了新的设计灵活性。本文还提出了两个考虑可调节图内核的新型目标函数，分别表现出低通或高通滤波能力，并提供了所提模型的收敛性证明和表达能力比较。

    Jan, 2021

  • 基于图神经网络的节点分类的增强方法

    本文概述了一系列现有的技巧，并提出了一些与标签使用、损失函数制定和模型设计相关的新技巧，以显著提高各种图神经网络 (GNN) 架构的性能。通过进行消融研究，我们经验性地评估了它们对最终节点分类精度的影响，并证明了它们的性能得到了不断改进，通常超过了底层 GNN 架构变化所带来的收益。值得注意的是，许多排名前列的模型从中受益，这是我们提出的一些技术。

    Mar, 2021

  • 用于提高效率和可扩展性的 GNN 转换框架

    提出一种框架，可自动将不可扩展的 GNNs 转化为基于预计算的 GNNs，从而实现大规模图形的高效可扩展性，通过对大规模图形的广泛实验，我们证明了转换后的 GNNs 在训练时间上比现有的 GNNs 更快，同时达到了与现有 GNNs 的竞争准确性，因此，我们的转换框架为未来研究可扩展的 GNNs 提供了简单和高效的基线。

    Jul, 2022