Sep, 2023

图上的逐层训练自监督学习

PDF
TL;DR图神经网络 (GNN) 的端对端训练在大型图上存在多个存储和计算上的挑战，通过自监督的方式，我们提出了逐层规则化图信息最大化算法以逐层训练 GNN，通过解耦特征传播和特征转换来学习节点表示，从而得出基于对未来输入预测的损失函数。我们在归纳大型图上评估了算法，并展示了类似于其他端对端方法的性能，以及大幅提高的效率，使得能够在一个设备上训练更复杂的模型。我们还展示了我们的算法避免了表示过度平滑的问题，这是深度 GNN 的另一个常见挑战。
graph neural networksgnnlayer-wise regularized graph infomaxself-supervised learningoversmoothing
发现论文，激发创造
  • 基于非常深的 GNN 和自监督的大规模图表示学习

    本文探讨了在大规模情况下有效和高效地部署图神经网络的问题，并介绍了我们在 Open Graph Benchmark Large-Scale Challenge 上使用的两个大规模 GNNs 模型的性能。通过这项工作，我们展示了可扩展的自监督图表示学习的证据和非常深层次的 GNNs 的实用性。

    Jul, 2021

  • 使用近似梯度下降学习图神经网络

    该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

    Dec, 2020

  • 多功能基于图的稀疏实现层

    本文介绍了一种稀疏实现的图信息层，以提高图神经网络的计算效率和可伸缩性，通过利用邻接矩阵的稀疏性来显著减少内存使用，同时引入了一种灵活的通用形式的图信息层，使其适用于图节点的子集。

    Mar, 2024

  • 深图信息最大化

    Deep Graph Infomax 提出了用于无监督学习图结构数据中节点表示的一般方法，可用于节点分类任务，并且相比大多数先前的方法，不依赖于随机游走目标。

    Sep, 2018

  • 受传统迭代算法启发的图神经网络

    本研究提出了一种新的 GNN 架构，结合基于迭代算法的更新规则，解决了现有架构在过度平滑、长距离依赖和对抗攻击等方面存在的问题。结果表明该模型在各种场景下都表现出极高的稳健性和准确性。

    Mar, 2021

  • 重新思考图神经网络的图正则化

    在图神经网络中，传统的图拉普拉斯正则化对现有 GNN 的性能提升不大，提出了一种名叫 P-reg 的图拉普拉斯正则化变体，可以有效增加信息熵，提升现有 GNN 模型在节点级和图级任务上的性能。

    Sep, 2020

  • 基于自我图信息最大化的图神经网络迁移学习

    该研究提出了一种基于理论基础和实用性的 GNN 传递学习框架，首先提出了一种新颖的图信息视图，并提出通过 EGI (Ego-Graph Information maximization) 来分析实现传递学习目标，其次，当节点特征是结构相关的时，我们对 EGI 的可转移性进行了分析，综合两个真实数据集的实验结果表明具有传递性，在大规模知识图谱的转移学习中表现出良好的效果。

    Sep, 2020

  • MGNNI: 带隐式层的多尺度图神经网络

    本文介绍和证明了隐式图神经网络存在的两个弱点：他们的限制表达能力由于他们对捕获长程依赖性的有效范围有限以及他们无法在多个分辨率上对图进行多尺度信息建模。为了缓解这些弱点，我们提出了一种带有隐式层次的多尺度图神经网络 (MGNNI)，它能够模拟图的多尺度结构，具有更广泛的有效范围，能够捕获长程依赖性，并且在节点分类和图分类方面，我们进行了全面的实验来表明 MGNNI 优于代表性基准，并具有更好的多尺度建模和捕获长程依赖性的能力。

    Oct, 2022

  • 使用循环图神经网络学习图算法

    针对图状数据的学习问题，该研究提出了一种基于递归架构的图神经网络算法，其关键在于使用跳过连接、状态规则化和边缘卷积等三种技术以实现对小型图问题的端到端学习及大规模图问题的推广。实验证明该算法具有较高的推广能力。

    Dec, 2022

  • 图神经网络与图增强型多层感知机比较

    本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现，其中后者首先通过图上的某些多跳算子增强节点特征，然后以节点方式应用 MLP；并证明了 GA-MLP 具备适当算子的情况下，能像 Weifeiler-Lehman（WL）测试一样，理论和数值上能够区分几乎所有非同构图，但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长，并且 GA-MLP 不能计算属性步行的数量，表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限，这在社区检测实验中也得到了证明。

    Oct, 2020