KDDJul, 2022

用于提高效率和可扩展性的 GNN 转换框架

PDF
TL;DR提出一种框架，可自动将不可扩展的 GNNs 转化为基于预计算的 GNNs，从而实现大规模图形的高效可扩展性，通过对大规模图形的广泛实验，我们证明了转换后的 GNNs 在训练时间上比现有的 GNNs 更快，同时达到了与现有 GNNs 的竞争准确性，因此，我们的转换框架为未来研究可扩展的 GNNs 提供了简单和高效的基线。
发现论文，激发创造
  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020

  • 基于节点自适应传播的加速可扩展的图神经网络推理

    大规模图的实时推断对于图神经网络 (GNNs) 提出了一项重大挑战，但我们提出了一种在线传播框架和两种新的节点自适应传播方法来加速可扩展 GNNs 的推断过程，并通过简单的超参数灵活管理准确性和时延之间的平衡。此外，我们进一步提出了 Inception Distillation 来弥补推断准确性损失，实验结果显示我们的方法在精确性和效率上优于现有的图推断加速方法。

    Oct, 2023

  • 预训练图神经网络用于通用结构特征提取

    本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

    May, 2019

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • 通过迭代同质图神经网络实现规模不变的图相关问题求解

    通过引入适应计算进程的学习终止机制和具有通用同态函数逼近器的同态转换层，从构造图论程序的角度出发，针对当前图神经网络在解决多个图分析问题时规模（图大小、图直径、边权重等）的泛化性不足问题提出了几种扩展方法，实验结果表明该方法在小规模图上训练，但是对于大规模图也具有很好的泛化性。

    Oct, 2020

  • 使用线性化随机生成树快速有效地训练图神经网络

    提出一种新的有效且可扩展的框架，用于在给定图形结构数据的监督节点分类任务中训练 GNNs。该方法通过在从输入网络提取的随机生成树线性化的一系列路径图上越来越细化的权重更新操作进行。在此过程中，路径图旨在保留原始图的基本拓扑和节点信息。同时，路径图的稀疏性使得训练更轻便，有助于缓解经典训练问题，如过度压缩和平滑。在许多真实世界图形基准测试中进行了广泛的实验研究，将该框架应用于图卷积网络，与众所周知的基线相比，同时提高了训练速度和测试精度。

    Jun, 2023

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为 EnGCN 的新的集成训练方式。

    Oct, 2022

  • 测试时图变换增强图表示学习

    本文提出了一种名为 GTrans 的图形变换框架，通过在测试时自适应和改进图形数据，从数据角度来解决图神经网络（GNN）所面临的数据质量问题，经实验表明，GTrans 在改善性能方面表现最佳。

    Oct, 2022

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • 基于图神经网络的组合优化统一框架

    基于图神经网络 (GNNs) 的统一框架，解决组合优化问题 (COPs)，包括 COPs 的图表示、非图结构 COPs 转换为图结构 COPs 的等效转换、图分解和图简化，利用 GNNs 有效捕获关系信息和提取 COPs 图表示的特征，为 COPs 提供了通用解决方案，能够解决非图结构和高度复杂图结构的 COPs 限制。

    Jun, 2024