Jul, 2023

InferTurbo: 面向大规模图的图神经网络全图推理加速系统

PDF
TL;DR为了解决工业场景中超大图下，GNN 推理面临的可扩展性、一致性和冗余计算问题，本文提出了一种名为 InferTurbo 的可扩展系统，它基于类似於 Think-like-a-vertex 的 GAS（Gather-Apply-Scatter）模式和影子结点、部分聚集等策略来提高推理性能.
gnn inferencescalabilitygas-like schemainferturboload balancing
发现论文，激发创造
  • GCV-Turbo: 基于 FPGA 的 GNN 计算机视觉任务的端到端加速

    GCV-Turbo 是一款基于 FPGA 的领域特定加速器，用于端到端加速基于图神经网络的计算机视觉任务，可以提供高性能加速并支持独立的 CNN 或 GNN 执行。

    Apr, 2024

  • 基于节点自适应传播的加速可扩展的图神经网络推理

    大规模图的实时推断对于图神经网络 (GNNs) 提出了一项重大挑战，但我们提出了一种在线传播框架和两种新的节点自适应传播方法来加速可扩展 GNNs 的推断过程，并通过简单的超参数灵活管理准确性和时延之间的平衡。此外，我们进一步提出了 Inception Distillation 来弥补推断准确性损失，实验结果显示我们的方法在精确性和效率上优于现有的图推断加速方法。

    Oct, 2023

  • AGL：面向工业应用的可扩展图机器学习系统

    提出了一种基于成熟基础架构的可扩展、容错和集成训练和推理的 AGL 系统，采用图传递机制和 MapReduce 算法来训练和推理图神经网络，同时通过生成每个节点的信息完整子图以及在参数服务器上训练来解决图形结构中的数据依赖性问题。

    Mar, 2020

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020

  • 推断图神经网络的属性

    GNNInfer 是第一个为 GNN 提出的自动属性推理技术，通过识别具有显著贡献的代表性有影响力结构，并使用现有的属性推理技术来捕获 GNN 的特定结构属性，然后推广为包含这些结构的任何输入图形的属性。实验证明，GNNInfer 在推理现实世界的 GNN 的可能属性方面非常有效，并且能够有效地抵御 GNN 的后门攻击。

    Jan, 2024

  • Transformer 推理的全栈优化：一项调查

    本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害

    Feb, 2023

  • 用于提高效率和可扩展性的 GNN 转换框架

    提出一种框架，可自动将不可扩展的 GNNs 转化为基于预计算的 GNNs，从而实现大规模图形的高效可扩展性，通过对大规模图形的广泛实验，我们证明了转换后的 GNNs 在训练时间上比现有的 GNNs 更快，同时达到了与现有 GNNs 的竞争准确性，因此，我们的转换框架为未来研究可扩展的 GNNs 提供了简单和高效的基线。

    Jul, 2022