Jun, 2024

图神经网络训练系统：全图与小批量的性能比较

PDF
TL;DR通过对全图训练和小批量训练系统的综合实证比较，我们发现小批量训练系统在多个数据集、GNN 模型和系统配置下都比全图训练系统更快地收敛，速度提升在 2.4 倍至 15.2 倍之间。我们还发现两种训练技术在准确度上趋于相似，因此从时间达到准确度的角度比较两种类别的系统是合理的。
graph neural networksgnn training systemsmini-batch trainingfull-graph trainingempirical comparison
发现论文，激发创造
  • 基于数据管理的 GNN 训练系统的综合评估

    该论文从数据管理的角度对图神经网络 (GNN) 训练进行了回顾，并提供了代表性方法的全面分析和评估，通过在各种基准数据集上进行广泛实验展示了许多有趣且有价值的结果，同时提供了一些从实验中学到的实用技巧，有助于未来设计 GNN 训练系统。

    Nov, 2023

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • 图神经网络：方法和应用综述

    本文介绍了图神经网络（GNNs）的设计管道，详细讨论了其各个组成部分的变体，对其应用进行了系统分类，并提出了四个开放性问题供未来研究。

    Dec, 2018

  • 图神经网络评估的陷阱

    本文探讨了现有的 Graph Neural Networks（GNN）模型评估策略的局限性，通过对四个知名 GNN 模型进行彻底的实证评估，发现只有在公平的条件下比较各种模型的性能才是合理的，简单的 GNN 架构通过超参数和训练程序的公平调整也可以胜过复杂的架构。

    Nov, 2018

  • 图神经网络分布式系统的演化及其在图处理和深度学习中的起源：一项调查

    本文总结和分类大规模图神经网络解决方案的重要方法和技术，并建立了图神经网络系统、图处理系统和深度学习系统之间的联系。

    May, 2023

  • 揭开图：图神经网络与图生成

    综述了图神经网络 (GNNs) 的应用、图数据和深度学习的扩展，以及 GNNs 的高级领域：图生成。

    Mar, 2024

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

    Oct, 2022

  • 图神经网络机器：用于表格数据学习的新模型

    近年来，对不同领域数据进行图结构化映射的兴趣日益增长。本文展示了多层感知器（MLP）等神经网络模型可以用图表示，而图神经网络（GNN）是在图上执行机器学习任务的标准工具。我们提出了一种用于表格数据的新的机器学习模型，称为图神经机器（GNM），它用几乎完全图代替了 MLP 的有向无环图，并采用同步消息传递方案。我们展示了单个 GNM 模型可以模拟多个 MLP 模型，并在多个分类和回归数据集上评估了所提出的模型。在大多数情况下，GNM 模型优于 MLP 架构。

    Feb, 2024

  • 图神经网络在不必要的情况下使用图

    图神经网络在图数据上学习的支配方法中，普遍存在过拟合图结构的现象，本研究通过对不同图分布进行分析，提出了一种理论解释和图编辑方法，以减轻图神经网络对应该被忽略的图结构的过拟合问题，并在多个基准测试中验证了该方法的有效性。

    Sep, 2023

  • 计算图神经网络：从算法到加速器的综述

    该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

    Sep, 2020