Dec, 2019

GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

HTML
PDF
TL;DR通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法-架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。
发现论文，激发创造
  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样GCN提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了GCN的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • GROW: 一种行驻型稀疏-密集GEMM加速器，用于内存高效图卷积神经网络

    本文介绍了一种名为GROW的GCN加速器，该加速器基于Gustavson算法，对基于行的稀疏矩阵-密集矩阵乘法进行了优化，通过软硬件协同设计，在局部性和并行性之间取得平衡，显著提高了能效。

    Mar, 2022

  • I-GCN: 通过孤岛化实现运行时局部性增强的图卷积网络加速器

    本文提出了一种新的硬件加速器 I-GCN，采用在线图重构算法 Islandization，通过处理岛屿而不是单个节点，从而显著提高了数据局部性和减少了不必要的计算。I-GCN 可以减少38%的聚合操作，性能速度普遍快于 CPU、GPU 和先前的GCN加速器。

    Mar, 2022

  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • 通过架构、编译器、分区方法共同设计加速通用图神经网络

    本文介绍了一种名为SwitchBlade的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于NVIDIA V100 GPU，SwitchBlade平均速度提升1.85倍，节能19.03倍，并且在性能上与最先进的专用加速器相媲美。

    Aug, 2023

  • Accel-GCN：图卷积网络的高性能GPU加速器设计

    Accel-GCN是一种针对Graph Convolutional Networks的GPU加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的warp策略，优化了GCN的计算效率，并在18个基准图上表现出比cuSPARSE、GNNAdvisor和graph-BLAST分别高出1.17倍、1.86倍和2.94倍的性能。

    Aug, 2023

  • GNNHLS：通过高层综合评估图神经网络推断

    通过高级综合技术，在FPGA上加速图神经网络推理，实现了高达50.8倍的加速和423倍的能量降低，与CPU基线相比，以及高达5.16倍的加速和74.5倍的能量降低，与GPU基线相比。

    Sep, 2023

  • 优化图表示以用于基于事件视觉的图卷积网络的硬件实现

    本文介绍了一个从事件相机数据流中生成图形的硬件实现过程，通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能，并提出了基于图形生成模块的硬件架构。

    Jan, 2024

  • 嵌入式图卷积网络在SoC FPGA上的实时事件数据处理

    本研究旨在利用事件相机解决传统视频系统的限制，在汽车领域中针对嵌入式实时系统进行集成，通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化，实现了模型尺寸的超过 100 倍压缩，并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%，N-Cars 分类为 1.7%)，从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)，并在 ZCU104 SoC FPGA 平台上实现，实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外，本研究还解决了所提出硬件模型的可扩展性，以提高所得到的准确性分数。据我们所知，这是首次在 SoC FPGA 上加速 PointNet++ 网络，也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码：this https URL*** (将在被接受后发布)。

    Jun, 2024

  • 基于大容量内存的FPGA的高效消息传递架构用于GCN训练，具有正交拓扑芯片网络

    本研究解决了图卷积网络（GCN）在训练过程中受到内存容量和带宽限制以及不规则数据流导致的通信瓶颈的问题。提出的消息传递架构利用NUMA内存访问特性，结合基于四维超立方体网络的并行多播路由算法，显著降低了内存需求和计算开销，并对现有的HP-GNN架构实现了1.03至1.81倍的性能提升。

    Nov, 2024