Nov, 2024

高阶GNN与效率的结合：稀疏Sobolev图神经网络

HTML
PDF
TL;DR本研究解决了高阶图神经网络（GNN）在大规模网络中建模节点间关系的挑战，提出了一种基于稀疏Sobolev范数的新型图卷积算子S2-GNN。该方法通过利用Hadamard乘积来保持图表示的稀疏性，并在多种图挖掘和半监督节点分类任务中展现出与最先进GNN相当的性能和运行时间。
发现论文，激发创造
  • Weisfeiler和Leman进化为神经网络：高阶图神经网络

    本文研究了图神经网络以及其理论背景并将其与$1$-WL算法相对比，提出了$k$-dimensional GNNs这一扩展方法，证明了它在处理社交网络和分子图像等高阶结构方面的有效性。

    Oct, 2018

  • 用随机节点初始化提升图神经网络的惊人能力

    本文分析了具有随机节点初始化的GNNs的表达力，证明了这些模型是通用的，这是GNNs的首个不依赖于计算要求更高阶特性的结果。我们基于精心构建的数据集，对RNI对GNNs的影响进行了经验分析。我们的实证结果支持RNI对于GNNs的优异表现。

    Oct, 2020

  • 深度图神经网络与浅层子图采样器

    本研究提出了一种“深GNN，浅采样器”设计规则，通过利用深层次的GNN在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了GNN的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

    Dec, 2020

  • VQ-GNN：一种使用矢量量化扩大图神经网络的通用框架

    文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN，为了解决图神经网络中的邻居爆炸问题和扩展性问题，该方法可以有效地保留所有传递给 mini-batch 的节点的信息，同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能，在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。

    Oct, 2021

  • 基于 $p$-Laplacian 的图神经网络

    本文提出了一种新的GNN模型：$^p$GNN，它实现了细胞特征和拓扑信息的同时分类，特别适用于异质图，其经过了充分的实验验证并表明表现显着优于多种GNN模型。

    Nov, 2021

  • 图神经网络的能力超出我们的想象

    本研究提出一种使用特殊算法和线性代数工具来分析图神经网络(GNNs)的表征能力的方法，证明NNG可以优于Weisfeiler-Lehman 算法，同时在图同构和图分类等数据集上进行充分实验证明了这种新型的GNN架构更具表达力的特点。

    May, 2022

  • 联合边模型稀疏学习对于图神经网络的可证明效率

    本文从样本复杂度和收敛速率的角度，首次提供了从联合边缘-模型稀疏学习的理论特性，证明了重要节点抽样和低幅度神经元剪枝可以减少样本复杂度，提高收敛速度，而不影响测试精度。

    Feb, 2023

  • 多功能基于图的稀疏实现层

    本文介绍了一种稀疏实现的图信息层，以提高图神经网络的计算效率和可伸缩性，通过利用邻接矩阵的稀疏性来显著减少内存使用，同时引入了一种灵活的通用形式的图信息层，使其适用于图节点的子集。

    Mar, 2024

  • 时空谱图神经网络

    空间消息传递图神经网络（MPGNNs）具有学习图结构数据的广泛应用。我们提出了时空谱图神经网络（S$^2$GNNs），它在模型中结合了空间和频谱参数化图滤波器，从而解决了目前的局限性，并且在性能上超越了现有的方法。

    May, 2024

  • 图神经网络的稀疏分解

    本研究针对图神经网络（GNN）在推理成本高的问题，提出了一种稀疏分解的方法，通过减少聚合时纳入的节点数量来降低计算复杂度。这种方法能够有效提高模型的推理速度，同时保持与传统GNN模型相似的准确性，具有重要的应用潜力。

    Oct, 2024