Dec, 2023

利用均方最大流和 Kemeny 常数进行马尔可夫链图神经网络的大规模训练

PDF
TL;DR我们提出了使用图神经网络解决 Markov 链描述的动力学网络的图划分问题，通过使用编码器 - 解码器架构和简单的 GraphSAGE-based GNNs 能够在这个背景下胜过更大更有表达力的基于注意力的模型。
clustering algorithmsgraph neural networksgraph partitioningmarkov chainskinetic networks
发现论文，激发创造
  • 半监督分类的图分区神经网络

    本文提出了一种名为 GPNN 的图划分神经网络，通过在小子图中进行本地传播和在子图之间进行全局传播来处理极大的图形。经过大量实验，实验结果表明，GPNN 在图形半监督分类任务中表现优异或与现有算法相当，且使用更少的传播步骤也能够达到标准 GNN 的性能。

    Mar, 2018

  • 分布式图神经网络训练的分区策略实验比较

    本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

    Aug, 2023

  • 知识图谱嵌入模型的扩展

    为训练图神经网络中的知识图嵌入模型提供可扩展解决方案，其中算法策略包括独立分区、基于约束的负样本采样和边缘小批量训练，以避免跨分区数据传输，具有 16 倍的加速效果，而模型性能与非分布式方法相当。

    Jan, 2022

  • 图神经网络在图划分中的平均场理论

    研究了图神经网络的理论性能分析，证明了其在分类任务中灵活性优势高于贝叶斯推断，并探讨了其高精度性能是由反向传播还是架构本身引起的问题。采用最小化图划分问题的平均场理论，证明了数值实验的良好一致性。

    Oct, 2018

  • 通过图分割提升图神经网络的表达能力

    图分区神经网络（GPNNs）是一种新颖的 GNN 架构，通过对图进行分区以及顶点集和子图之间的结构相互作用的探索，提高了 GNN 的表达能力，并在各种图基准任务中展示了超越现有 GNN 模型的卓越性能。

    Dec, 2023

  • 基于分区的图神经网络主动学习

    本文提出了一种基于图划分的半监督学习的主动学习方法 ——GraphPart，该方法可以在不引入额外的超参数的情况下，在 GNN 上取得更好的性能。

    Jan, 2022

  • 通过架构、编译器、分区方法共同设计加速通用图神经网络

    本文介绍了一种名为 SwitchBlade 的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于 NVIDIA V100 GPU，SwitchBlade 平均速度提升 1.85 倍，节能 19.03 倍，并且在性能上与最先进的专用加速器相媲美。

    Aug, 2023

  • 知识蒸馏加速分子图神经网络

    本文探讨了使用知识蒸馏加速分子图神经网络的实用性，研究结果显示可以无需改变体系结构就能提高预测准确性达到近 60%。

    Jun, 2023

  • 大规模图上分布式神经网络训练的简化：随机分割提高模型聚合性能

    我们提出了一种分布式 GNN 训练的简化框架，通过随机分配节点或超级节点来划分训练图，以改善数据均匀性并最小化跨节点之间的梯度和损失函数差异。在社交网络和电子商务网络上的实验证明，我们的方法在速度和性能上都达到了最先进水平，并比最快的基线提供了 2.31 倍的加速度。

    May, 2023

  • MarkovGNN：基于马尔可夫扩散的图神经网络

    该研究提出了一种新的图神经网络模型 MarkovGNN，该模型利用马尔可夫过程捕捉社区结构，并生成不同的随机矩阵用于不同的卷积层，实验结果表明，MarkovGNN 在聚类、节点分类和可视化任务方面优于其他 GNNs。

    Feb, 2022