Dec, 2022

分布式内存系统上的可扩展图卷积网络训练

PDF
TL;DR我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。
graph convolutional networkstraining algorithmhypergraph partitioningcommunication costscalability
发现论文，激发创造
  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • 图卷积网络分布式训练

    本文提出了一种分布式算法框架来训练图卷积网络，利用了输入数据的有意义的关系结构，并在不同代理之间分割数据图表达的优化通信拓扑结构，提出了一种分布式梯度下降算法来解决 GCN 训练问题，并建立了一套评价通信拓扑的优化准则。

    Jul, 2020

  • 使用子图近似进行图卷积网络的分布式训练

    本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

    Dec, 2020

  • 图神经网络训练中的通信减少

    本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。

    May, 2020

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • CATGNN: 图神经网络的高效可扩展分布式训练

    CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

    Apr, 2024

  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • PipeGCN：基于流水线特征通信的图卷积网络高效全图训练

    PipeGCN 是一种隐藏分布式图卷积网络（GCN）培训中节点特征和特征梯度通信开销的简单而有效的方案，在训练吞吐量（1.7 倍〜28.5 倍）大幅提高的同时实现与现有全图培训方法相同的精度。

    Mar, 2022

  • Cluster-GCN：一个用于训练深度和大型图卷积网络的高效算法

    本文介绍了 Cluster-GCN 算法，通过利用图聚类结构，将邻域搜索限制在一个由图聚类算法确定的密集子图中，从而实现大规模 GCN 的 SGD 训练，在保证可比性测试精度的情况下显著提高了内存和计算效率。

    May, 2019

  • 变通信速率下的大规模图神经网络分布式训练

    在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

    Jun, 2024