Jun, 2024

Sketch-GNN：具有亚线性训练复杂性的可伸缩图神经网络

PDF
TL;DR提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。
graph neural networksgraph learning problemssketch-based algorithmmemoryscalability
发现论文，激发创造
  • SketchGNN: 基于图神经网络的语义草图分割

    SketchGNN 是一种卷积图神经网络，用于自由绘制矢量草图的语义分割和标记。SketchGNN 将输入的基于笔画的草图作为图形处理，并使用静态 - 动态分支网络架构和图卷积来提取三个级别的特征：点级别、笔画级别和草图级别，显著提高了图像语义分割的准确性。

    Mar, 2020

  • 可扩展的 Inception 图神经网络 (SIGN)

    本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

    Apr, 2020

  • 双向传播推进的可扩展图神经网络

    本文介绍了一种名为 GBP 的可扩展的 GNN，使用本地化的双向传播过程来实现高效的训练与测试，理论分析表明其是第一种在预计算和训练阶段都实现了次线性时间复杂度的方法，并在大规模图上取得了最先进的性能。

    Oct, 2020

  • 使用近似梯度下降学习图神经网络

    该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

    Dec, 2020

  • 知识图谱嵌入模型的扩展

    为训练图神经网络中的知识图嵌入模型提供可扩展解决方案，其中算法策略包括独立分区、基于约束的负样本采样和边缘小批量训练，以避免跨分区数据传输，具有 16 倍的加速效果，而模型性能与非分布式方法相当。

    Jan, 2022

  • 可扩展的时空图神经网络

    本文提出了一种可扩展的体系结构，利用随机循环神经网络将输入时序的历史数据嵌入到高维状态表示中，并利用不同幂次的图相邻矩阵沿空间维传播以生成节点嵌入，从而实现多尺度的时空特征表示，我们的方法在保证结果竞争力的同时，大大降低了计算负担。

    Sep, 2022

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • SpanGNN: 基于生成子图训练的高效记忆图神经网络

    提出一种新的记忆高效的 GNN 训练方法，使用作为跨度子图的 SpanGNN，通过选择高质量边和利用两种类型的边采样策略，解决了传统 GNN 训练中的内存和模型准确性问题。

    Jun, 2024

  • 使用子图草图的图神经网络进行链接预测

    提出了一种名为 ELPH 的全图 GNN 和一种高度可扩展的模型 BUDDY，前者通过哈希传递子图草图以近似 SGNN 中的关键组件，后者使用特征预计算来规避 GPU 内存限制，而且两者在标准 LP 基准测试上性能均优于现有的 SGNN 模型

    Sep, 2022

  • 常数时间图神经网络

    本文介绍一种新型的节点采样方案，可以将图神经网络扩展到大规模网络中，同时保证了理论上的误差，并通过实验验证了该方案的速度和准确性。

    Jan, 2019