May, 2024

GNN 中的加速算法调查

PDF
TL;DR图神经网络 (GNN) 在各种基于图的任务中显示出有效性，然而他们在训练和推理中的低效性给实现规模化的实际世界和大规模图应用带来挑战。为了解决这些关键问题，提出了一系列加速 GNN 训练和推理的算法，吸引了研究界的越来越多的关注。本文对 GNN 中的加速算法进行了系统综述，根据目的将其划分为三个主要主题：训练加速、推理加速和执行加速。具体来说，我们总结和分类了每个主题下的现有方法，并对每个类别的方法进行了详细的描述和特征化分析。此外，我们还回顾了几个与 GNN 加速算法相关的库，并讨论了我们的可扩展图学习 (SGL) 库。最后，我们提出了未来研究的有希望的方向。在我们的 GitHub 仓库中提供了完整的摘要：this https URL。
graph neural networksacceleration algorithmstraining accelerationinference accelerationexecution acceleration
发现论文，激发创造
  • 图神经网络加速调查：算法透视

    本文从算法角度提供了 GNNs 加速方法的综合调查，提出了包括五类在内的分类方法，并对这些方法进行了系统讨论和比较，最后为未来研究提出了一些有前途的前景。

    Feb, 2022

  • 图神经网络加速综述：算法、系统和定制硬件

    本次调查报告提供了图神经网络加速的分类法，并回顾了现有方法，并提出了未来的研究方向，以便统一视图和解决相关工作的复杂性。

    Jun, 2023

  • 计算图神经网络：从算法到加速器的综述

    该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

    Sep, 2020

  • 图计算加速器的实现

    图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

    Dec, 2023

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • 图形算法的神经执行

    通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题，使用基于最大化的信息传递神经网络来实现离散决策，同时实现了任务迁移并提升学习效果。

    Oct, 2019

  • 基于节点自适应传播的加速可扩展的图神经网络推理

    大规模图的实时推断对于图神经网络 (GNNs) 提出了一项重大挑战，但我们提出了一种在线传播框架和两种新的节点自适应传播方法来加速可扩展 GNNs 的推断过程，并通过简单的超参数灵活管理准确性和时延之间的平衡。此外，我们进一步提出了 Inception Distillation 来弥补推断准确性损失，实验结果显示我们的方法在精确性和效率上优于现有的图推断加速方法。

    Oct, 2023

  • GNN 聚合编程抽象的架构影响

    对现有的图神经网络聚合编程抽象方法进行综合评估和分析，比较它们的性能和效率，并基于分析结果提供未来图神经网络加速的几个见解。

    Oct, 2023

  • 图神经网络的优化：跳连和更深层的隐式加速

    本文研究 GNN 在梯度动力学方面的优化性质，并证明了在某些情况下，通过跳跃连接、更深或更好的标签分布可以提高训练速度和最终结果的优化，因此建议在实践中使用具有跳跃连接的深度 GNN。

    May, 2021

  • 揭开图：图神经网络与图生成

    综述了图神经网络 (GNNs) 的应用、图数据和深度学习的扩展，以及 GNNs 的高级领域：图生成。

    Mar, 2024