Oct, 2018

高精准、高效率和可扩展性的图嵌入算法

PDF
TL;DR本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。
graph convolutional networkparallelization techniquesgraph sampling-based gcnsscalable performancecomputation
发现论文，激发创造
  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • 自适应采样快速图表示学习

    本研究提出了一种自适应逐层采样方法和跨越较远节点的消息传递方法，以解决图形卷积网络在大规模图中的可扩展性问题，并通过实验验证了其有效性和更快的收敛速度。

    Sep, 2018

  • FastGCN: 基于重要性采样的图卷积网络快速学习

    本文提出一种名为 FastGCN 的基于 Monte Carlo 方法的图卷积神经网络批量训练方案，实现了对于大型、密集图的高效训练和推理。实验证明该方案与 GCN 和相关模型相比，训练效率极大提高并且预测结果保持准确。

    Jan, 2018

  • Cluster-GCN：一个用于训练深度和大型图卷积网络的高效算法

    本文介绍了 Cluster-GCN 算法，通过利用图聚类结构，将邻域搜索限制在一个由图聚类算法确定的密集子图中，从而实现大规模 GCN 的 SGD 训练，在保证可比性测试精度的情况下显著提高了内存和计算效率。

    May, 2019

  • 面向分布式训练的图卷积网络通信高效采样

    本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。

    Jan, 2021

  • L$^2$-GCN: 图卷积网络的层次和学习有效训练

    本研究提出了一种高效的图形卷积网络（GCN）训练框架 L-GCN，该框架通过在训练期间解耦功能聚合和功能转换，大大降低了时间和内存复杂度，并提出了 L²-GCN，用于每个层学习控制器，可以自动调整每个层的训练时期。实验表明，在不依赖于数据集大小的一致内存使用情况下，L-GCN 比现有技术快至少一个数量级，同时保持可比的预测性能。

    Mar, 2020

  • PipeGCN：基于流水线特征通信的图卷积网络高效全图训练

    PipeGCN 是一种隐藏分布式图卷积网络（GCN）培训中节点特征和特征梯度通信开销的简单而有效的方案，在训练吞吐量（1.7 倍〜28.5 倍）大幅提高的同时实现与现有全图培训方法相同的精度。

    Mar, 2022

  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • BNS-GCN: 使用分区并行和随机边界节点抽样的图卷积网络高效全图训练

    本研究提出一种名为 BNS-GCN 的简单而有效的方法，采用随机边界节点采样，提高了分布式 GCN 训练的吞吐量 16.2 倍，减少了内存使用量高达 58％，同时保持全图精度的稳定性，为实现大规模 GCN 训练开辟了一条新的途径。

    Mar, 2022

  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020