基于大容量内存的FPGA的高效消息传递架构用于GCN训练，具有正交拓扑芯片网络

Nov, 2024

基于大容量内存的FPGA的高效消息传递架构用于GCN训练，具有正交拓扑芯片网络

Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks

Qizhe Wu, Letian Zhao, Yuchen Gui, Huawen Liang Xiaotian Wang

TL;DR本研究解决了图卷积网络（GCN）在训练过程中受到内存容量和带宽限制以及不规则数据流导致的通信瓶颈的问题。提出的消息传递架构利用NUMA内存访问特性，结合基于四维超立方体网络的并行多播路由算法，显著降低了内存需求和计算开销，并对现有的HP-GNN架构实现了1.03至1.81倍的性能提升。

Abstract

Graph Convolutional Networks (GCNs) are state-of-the-art deep learning models for representation learning on graphs. However, the efficient training of GCNs is hampered by constraints in memory capacity and bandwidth, compounded by the irregular data flow that results in communication

发现论文，激发创造

高精准、高效率和可扩展性的图嵌入算法

本文提出了并行化技术，为图采样GCN提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了GCN的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

Oct, 2018

GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法-架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

Dec, 2019

GROW: 一种行驻型稀疏-密集GEMM加速器，用于内存高效图卷积神经网络

本文介绍了一种名为GROW的GCN加速器，该加速器基于Gustavson算法，对基于行的稀疏矩阵-密集矩阵乘法进行了优化，通过软硬件协同设计，在局部性和并行性之间取得平衡，显著提高了能效。

Mar, 2022

I-GCN: 通过孤岛化实现运行时局部性增强的图卷积网络加速器

本文提出了一种新的硬件加速器 I-GCN，采用在线图重构算法 Islandization，通过处理岛屿而不是单个节点，从而显著提高了数据局部性和减少了不必要的计算。I-GCN 可以减少38%的聚合操作，性能速度普遍快于 CPU、GPU 和先前的GCN加速器。

Mar, 2022

PipeGCN：基于流水线特征通信的图卷积网络高效全图训练

PipeGCN是一种隐藏分布式图卷积网络（GCN）培训中节点特征和特征梯度通信开销的简单而有效的方案，在训练吞吐量（1.7倍〜28.5倍）大幅提高的同时实现与现有全图培训方法相同的精度。

Mar, 2022

BNS-GCN: 使用分区并行和随机边界节点抽样的图卷积网络高效全图训练

本研究提出一种名为BNS-GCN的简单而有效的方法，采用随机边界节点采样，提高了分布式GCN训练的吞吐量16.2倍，减少了内存使用量高达58％，同时保持全图精度的稳定性，为实现大规模GCN训练开辟了一条新的途径。

Mar, 2022

分布式内存系统上的可扩展图卷积网络训练

我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

Dec, 2022

通过架构、编译器、分区方法共同设计加速通用图神经网络

本文介绍了一种名为SwitchBlade的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于NVIDIA V100 GPU，SwitchBlade平均速度提升1.85倍，节能19.03倍，并且在性能上与最先进的专用加速器相媲美。

Aug, 2023

GNNPipe: 使用流水线模型并行加速分布式全图GNN训练

采用模型并行而非图并行的分布式全局图神经网络训练方法GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

Aug, 2023

Accel-GCN：图卷积网络的高性能GPU加速器设计

Accel-GCN是一种针对Graph Convolutional Networks的GPU加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的warp策略，优化了GCN的计算效率，并在18个基准图上表现出比cuSPARSE、GNNAdvisor和graph-BLAST分别高出1.17倍、1.86倍和2.94倍的性能。

Aug, 2023