Jan, 2022

SUGAR: 基于资源感知图划分的高效子图级训练

PDF
TL;DR通过资源感知的图分割 (SUGAR) 提出了根据子图级别进行有效训练的方法，在五个图基准测试上进行了实验，结果表明 SUGAR 可以在大规模图上实现高达 33 倍的运行时间加速和 3.8 倍的内存减少，为开发适合于物联网部署的资源有效的 GNN 方法开辟了新的研究方向。
graph neural networksresource-efficient learningsubgraph-level traininggraph partitioningiot applications
发现论文，激发创造
  • SUGAR: 带强化池化和自监督互信息机制的子图神经网络

    本文提出 SUGAR 算法，采用层次子图选择和嵌入来学习更有判别力的子图表示，并通过奖励池化机制和自监督互信息机制来提高模型的泛化能力和解释性。在六个典型的生物信息学数据集上进行的实验表明，SUGAR 算法具有竞争性的性能和可解释性，能够显著提高模型的质量。

    Jan, 2021

  • 边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

    本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

    Oct, 2022

  • 使用子图近似进行图卷积网络的分布式训练

    本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

    Dec, 2020

  • 分布式图神经网络训练的分区策略实验比较

    本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

    Aug, 2023

  • 高效部分重新训练的图解除

    通过图属性感知数据切分和图对比子模型聚合，本文提出了一种新颖的图去学习框架 GraphRevoker，以更好地保持不可学习的 GNN 模型的模型效用。

    Mar, 2024

  • 基于分区的图神经网络主动学习

    本文提出了一种基于图划分的半监督学习的主动学习方法 ——GraphPart，该方法可以在不引入额外的超参数的情况下，在 GNN 上取得更好的性能。

    Jan, 2022

  • 半监督分类的图分区神经网络

    本文提出了一种名为 GPNN 的图划分神经网络，通过在小子图中进行本地传播和在子图之间进行全局传播来处理极大的图形。经过大量实验，实验结果表明，GPNN 在图形半监督分类任务中表现优异或与现有算法相当，且使用更少的传播步骤也能够达到标准 GNN 的性能。

    Mar, 2018

  • 联合子图神经网络

    本文提出了一种名为 Union Subgraph Neural Network 的图神经网络模型，通过注入从新类型的子结构中提取的邻居连接信息以有效地编码高阶连接性，该模型被证明在区分非同构图方面比 1-WL 更强大，并且在 17 个基准测试中表现出优异的性能，尤其是在现有模型的局部编码的基础上注入我们的局部编码，可以最多提高 11.09% 的性能。

    May, 2023

  • 熵感知训练方法用于快速准确的分布式图神经网络

    通过改进分布式框架和训练技术，提高了大规模图神经网络的训练效率和准确性，减少了数据分布和类别不均衡引起的性能下降，并在基准测试中实现了训练时间加速和 F1 分数的提升。

    Nov, 2023

  • CATGNN: 图神经网络的高效可扩展分布式训练

    CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

    Apr, 2024