Jun, 2023

使用线性化随机生成树快速有效地训练图神经网络

PDF
TL;DR提出一种新的有效且可扩展的框架，用于在给定图形结构数据的监督节点分类任务中训练 GNNs。该方法通过在从输入网络提取的随机生成树线性化的一系列路径图上越来越细化的权重更新操作进行。在此过程中，路径图旨在保留原始图的基本拓扑和节点信息。同时，路径图的稀疏性使得训练更轻便，有助于缓解经典训练问题，如过度压缩和平滑。在许多真实世界图形基准测试中进行了广泛的实验研究，将该框架应用于图卷积网络，与众所周知的基线相比，同时提高了训练速度和测试精度。
gnnssupervised node classificationpath graphstraining speedtest accuracy
发现论文，激发创造
  • SpanGNN: 基于生成子图训练的高效记忆图神经网络

    提出一种新的记忆高效的 GNN 训练方法，使用作为跨度子图的 SpanGNN，通过选择高质量边和利用两种类型的边采样策略，解决了传统 GNN 训练中的内存和模型准确性问题。

    Jun, 2024

  • Sketch-GNN：具有亚线性训练复杂性的可伸缩图神经网络

    提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与完整规模的 GNN 相比。

    Jun, 2024

  • 无需对文本属性图进行训练的图神经网络

    采用线性图神经网络（TrainlessGNN）模型构建代表每个类别节点属性子空间的权重矩阵，为 TAG 上的半监督节点分类提供了一种高效的方法，消除了迭代优化过程。广泛的实验证实了我们的无训练模型可以匹配甚至超越传统训练模型，展示了在特定配置中避免梯度下降的可能性。

    Apr, 2024

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022

  • 用于提高效率和可扩展性的 GNN 转换框架

    提出一种框架，可自动将不可扩展的 GNNs 转化为基于预计算的 GNNs，从而实现大规模图形的高效可扩展性，通过对大规模图形的广泛实验，我们证明了转换后的 GNNs 在训练时间上比现有的 GNNs 更快，同时达到了与现有 GNNs 的竞争准确性，因此，我们的转换框架为未来研究可扩展的 GNNs 提供了简单和高效的基线。

    Jul, 2022

  • 通过基于置信度的图稀疏化提高 GNN 预测的可解释性

    我们提出了一种使用增强学习进行训练的 GNN 方法，通过移除边和 / 或节点找出最具预测性的子图，同时优化图分类任务的性能，从而在与基线相竞争的性能下，依赖于更稀疏的子图，从而产生更可解释的基于 GNN 的预测结果。

    Apr, 2024

  • 大规模图上分布式神经网络训练的简化：随机分割提高模型聚合性能

    我们提出了一种分布式 GNN 训练的简化框架，通过随机分配节点或超级节点来划分训练图，以改善数据均匀性并最小化跨节点之间的梯度和损失函数差异。在社交网络和电子商务网络上的实验证明，我们的方法在速度和性能上都达到了最先进水平，并比最快的基线提供了 2.31 倍的加速度。

    May, 2023

  • 图神经网络的测试时间训练

    本研究提出了第一个用于 GNN 的测试时间训练框架，主要包括一种新颖的测试时间训练策略和自监督学习方法，以提高模型的泛化能力，并在基准数据集上进行了实验，证明了该框架的有效性，特别是在训练集与测试集之间存在分布偏移时。同时，研究者还通过探索性研究和理论分析来深入了解了 GT3 框架的设计合理性。

    Oct, 2022

  • CATGNN: 图神经网络的高效可扩展分布式训练

    CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

    Apr, 2024

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018