ICMLJun, 2021

GNNAutoScale: 历史嵌入式可扩展和具有表达力的图神经网络

PDF
TL;DR论文介绍了 GNNAutoScale（GAS），一种用于将任意消息传递 GNN 扩展到大型图形的框架。通过使用先前训练迭代的历史嵌入来修剪计算图的整个子树，我们实现了恒定的 GPU 内存消耗，同时不会丢弃任何数据，并且可以维持原始 GNN 的表达能力。我们提供了历史嵌入的近似误差界限，并展示了如何在实践中加以紧缩。我们的扩展 PyTorch Geometric 的实现 (PyGAS) 在大型图形上表现出卓越的性能。
gnnautoscalemessage-passing gnnslarge graphshistorical embeddingspygas
发现论文，激发创造
  • Sketch-GNN：具有亚线性训练复杂性的可伸缩图神经网络

    提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。

    Jun, 2024

  • 可扩展的时空图神经网络

    本文提出了一种可扩展的体系结构，利用随机循环神经网络将输入时序的历史数据嵌入到高维状态表示中，并利用不同幂次的图相邻矩阵沿空间维传播以生成节点嵌入，从而实现多尺度的时空特征表示，我们的方法在保证结果竞争力的同时，大大降低了计算负担。

    Sep, 2022

  • 通过迭代同质图神经网络实现规模不变的图相关问题求解

    通过引入适应计算进程的学习终止机制和具有通用同态函数逼近器的同态转换层，从构造图论程序的角度出发，针对当前图神经网络在解决多个图分析问题时规模（图大小、图直径、边权重等）的泛化性不足问题提出了几种扩展方法，实验结果表明该方法在小规模图上训练，但是对于大规模图也具有很好的泛化性。

    Oct, 2020

  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • 知识图谱嵌入模型的扩展

    为训练图神经网络中的知识图嵌入模型提供可扩展解决方案，其中算法策略包括独立分区、基于约束的负样本采样和边缘小批量训练，以避免跨分区数据传输，具有 16 倍的加速效果，而模型性能与非分布式方法相当。

    Jan, 2022

  • 可扩展异构图的图神经网络

    本文研究图神经网络在异构图上的应用问题，并提出了一种名为 NARS 的分类器，使用邻居平均特征进行多元关系子图采样，该方法取得了比 GNN 更准确且更具成本效益的结果。

    Nov, 2020

  • 用于提高效率和可扩展性的 GNN 转换框架

    提出一种框架，可自动将不可扩展的 GNNs 转化为基于预计算的 GNNs，从而实现大规模图形的高效可扩展性，通过对大规模图形的广泛实验，我们证明了转换后的 GNNs 在训练时间上比现有的 GNNs 更快，同时达到了与现有 GNNs 的竞争准确性，因此，我们的转换框架为未来研究可扩展的 GNNs 提供了简单和高效的基线。

    Jul, 2022

  • 关于分子图的 GNN 的可扩展性

    我们研究了图神经网络的扩展行为，发现其在深度、宽度、分子数量、标签数量以及训练数据多样性上的扩展规律，取得了 30.25% 的性能改善（参数扩展至 10 亿）和 28.98% 的性能改善（数据集扩展至八倍）。此外，我们在 38 个任务上展示了很好的微调扩展行为，优于之前的大型模型，为基础图神经网络在制药药物研发领域迈出了重要的一步。

    Apr, 2024

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020