ICLRMar, 2022

PipeGCN：基于流水线特征通信的图卷积网络高效全图训练

PDF
TL;DRPipeGCN 是一种隐藏分布式图卷积网络（GCN）培训中节点特征和特征梯度通信开销的简单而有效的方案，在训练吞吐量（1.7 倍〜28.5 倍）大幅提高的同时实现与现有全图培训方法相同的精度。
graph convolutional networksdistributed trainingpipegcnconvergence ratesmoothing method
发现论文，激发创造
  • GNNPipe: 使用流水线模型并行加速分布式全图 GNN 训练

    采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

    Aug, 2023

  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • FedGCN: 图卷积网络联邦训练中的收敛与通信权衡

    介绍了一种使用联合学习的 FedGCN 算法用于训练分布式的图模型，它可以在大型图上进行半监督节点分类，具有快速收敛和较小的通信成本，相比先前的方法，FedGCN 只需要在一个预训练步骤中将客户端与中央服务器进行通信，显著降低通信成本。

    Jan, 2022

  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • 图卷积网络分布式训练

    本文提出了一种分布式算法框架来训练图卷积网络，利用了输入数据的有意义的关系结构，并在不同代理之间分割数据图表达的优化通信拓扑结构，提出了一种分布式梯度下降算法来解决 GCN 训练问题，并建立了一套评价通信拓扑的优化准则。

    Jul, 2020

  • BNS-GCN: 使用分区并行和随机边界节点抽样的图卷积网络高效全图训练

    本研究提出一种名为 BNS-GCN 的简单而有效的方法，采用随机边界节点采样，提高了分布式 GCN 训练的吞吐量 16.2 倍，减少了内存使用量高达 58％，同时保持全图精度的稳定性，为实现大规模 GCN 训练开辟了一条新的途径。

    Mar, 2022

  • L$^2$-GCN: 图卷积网络的层次和学习有效训练

    本研究提出了一种高效的图形卷积网络（GCN）训练框架 L-GCN，该框架通过在训练期间解耦功能聚合和功能转换，大大降低了时间和内存复杂度，并提出了 L²-GCN，用于每个层学习控制器，可以自动调整每个层的训练时期。实验表明，在不依赖于数据集大小的一致内存使用情况下，L-GCN 比现有技术快至少一个数量级，同时保持可比的预测性能。

    Mar, 2020

  • 图管道：通过图管道并行提高 DNN 训练的性能和可扩展性

    深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。

    Jun, 2024

  • 面向分布式训练的图卷积网络通信高效采样

    本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。

    Jan, 2021