Jul, 2021

基于非常深的GNN和自监督的大规模图表示学习

HTML
PDF
TL;DR本文探讨了在大规模情况下有效和高效地部署图神经网络的问题，并介绍了我们在 Open Graph Benchmark Large-Scale Challenge 上使用的两个大规模 GNNs 模型的性能。通过这项工作，我们展示了可扩展的自监督图表示学习的证据和非常深层次的 GNNs 的实用性。
发现论文，激发创造
  • 图神经网络的能力有多强？

    本文提出了一种理论框架来分析图神经网络的表达能力和限制，并阐述了如何有效地捕捉不同的图结构。通过提出的一个简单的架构，实验验证了理论的发现，并取得了最先进的性能。

    Oct, 2018

  • L$^2$-GCN: 图卷积网络的层次和学习有效训练

    本研究提出了一种高效的图形卷积网络（GCN）训练框架L-GCN，该框架通过在训练期间解耦功能聚合和功能转换，大大降低了时间和内存复杂度，并提出了L²-GCN，用于每个层学习控制器，可以自动调整每个层的训练时期。实验表明，在不依赖于数据集大小的一致内存使用情况下，L-GCN比现有技术快至少一个数量级，同时保持可比的预测性能。

    Mar, 2020

  • 深度图神经网络与浅层子图采样器

    本研究提出了一种“深GNN，浅采样器”设计规则，通过利用深层次的GNN在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了GNN的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

    Dec, 2020

  • 训练更深层次图神经网络的技巧：一项综合基准研究

    本研究提供了第一个公平、可重复的基准测试，重点研究了训练深度图神经网络中的技巧，并利用该测试在数十个代表性图数据集上进行了全面评估，证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度GNN在大型数据集上的最新成果。

    Aug, 2021

  • VQ-GNN：一种使用矢量量化扩大图神经网络的通用框架

    文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN，为了解决图神经网络中的邻居爆炸问题和扩展性问题，该方法可以有效地保留所有传递给 mini-batch 的节点的信息，同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能，在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。

    Oct, 2021

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为EnGCN的新的集成训练方式。

    Oct, 2022

  • GCNH: 异质图上的简单表示学习方法

    我们提出了GCNH，是一种简单但有效的GNN架构，适用于异构和同质图形，并使用一个学习的重要系数平衡中心节点和邻域的贡献，可以解决异构图上性能问题和过度平滑问题。

    Apr, 2023

  • 图上的逐层训练自监督学习

    图神经网络 (GNN) 的端对端训练在大型图上存在多个存储和计算上的挑战，通过自监督的方式，我们提出了逐层规则化图信息最大化算法以逐层训练 GNN，通过解耦特征传播和特征转换来学习节点表示，从而得出基于对未来输入预测的损失函数。我们在归纳大型图上评估了算法，并展示了类似于其他端对端方法的性能，以及大幅提高的效率，使得能够在一个设备上训练更复杂的模型。我们还展示了我们的算法避免了表示过度平滑的问题，这是深度 GNN 的另一个常见挑战。

    Sep, 2023

  • 大规模图的图转换器

    本研究使用可扩展的图转换器（GT）框架来进行单个大规模图的表示学习，并提出了快速的采样技术和局部注意机制，以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中，我们验证了LargeGT框架，并取得了3倍的加速和16.8％的性能提升。

    Dec, 2023

  • 图分类与图神经网络：优化、表示与归纳偏差

    本研究针对图神经网络（GNNs）在表示与优化之间的差异提出了新的见解，指出现有的等价性研究忽视了优化问题。通过理论证明和实验验证，揭示了GNNs在图分类任务中存在的隐含归纳偏差，并展示了如何通过基于注意力的架构融入领域知识以更有效地识别一致子图。

    Aug, 2024