Jul, 2022

针对科学应用的图神经网络操作水平性能基准测试

PDF
TL;DR通过在 PyTorch Geometric 软件框架中实现科学计算所需的低级操作并在 NVIDIA A100 GPU 上进行基准测试，我们发现在专用硬件平台上具有关键作用的操作时限制内存效率的瓶颈而不仅仅是数据稀疏性，希望这些结果能成为此类操作的基准，并有助于未来的软件和硬件优化，从而实现可扩展的 GNN 性能的整体增强。
graph neural networkstraining efficiencyspecialty hardware platformspytorch geometric software frameworknvidia a100 gpus
发现论文，激发创造
  • 图神经网络基准测试

    本文介绍了 Graph Neural Networks (GNNs) 领域关于基准测试框架的应用，通过该框架，可对模型进行比较，并且探索新的 GNN 设计和洞见，其中，图形位置编码 (PE) 是该基准测试框架中引入的重要设计之一。

    Mar, 2020

  • 训练更深层次图神经网络的技巧：一项综合基准研究

    本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度 GNN 在大型数据集上的最新成果。

    Aug, 2021

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

    Oct, 2022

  • 图计算加速器的实现

    图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

    Dec, 2023

  • 超几何基准测试揭示了图神经网络性能与网络拓扑特征的关系

    我们介绍了一个用于图机器学习的全面基准测试框架，关注 GNN 在各种网络结构上的性能，结果强调了模型性能依赖于网络结构和节点特征之间的相互作用，并为模型选择提供了见解。

    Jun, 2024

  • GNNBENCH: 公平高效的单 GPU 图神经网络系统基准测试

    通过 GNNBench 基准平台，我们提出了一种新的协议来交换捕获的张量数据，支持系统 API 中的自定义类，并允许将同一系统模块自动集成到诸多深度学习框架中，如 PyTorch 和 TensorFlow，这帮助我们发现了几个需要关注的测量问题。

    Apr, 2024

  • 计算图神经网络：从算法到加速器的综述

    该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

    Sep, 2020

  • 探索半精度图卷积神经网络

    本研究通过在 GPU 上使用 PyTorch 框架实现了一种基于 Tensor Cores 的降低精度操作，以提高图形卷积神经网络的计算和内存使用效率，结果表明这种方法可以在不降低性能的情况下有效减少内存使用量。

    Oct, 2020

  • BitGNN: 在 GPU 上释放二值图神经网络的性能潜能

    本研究提出了一种二进制图神经网络的高效推理后端的重新设计，旨在充分地发挥加速器硬件性能潜力；在实际图形中，使用 GCNs、GraphSAGE 和 GraphSAINT 的结果表明，使用相同的精度，所提出的技术比最先进的二进制 GNN 实现快 8-22 倍。

    May, 2023

  • 边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

    本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

    Oct, 2022